- 博客(11)
- 收藏
- 关注
RSS订阅原创 职业技能大赛-大数据-数据抽取
字段排序、类型不变，同时添加静态分区，分区字段类型为String， * 且值为当前比赛日的前一天日期（分区字段格式为yyyyMMdd）。使用Spark工具，将MySQL的shtd_store库中表CUSTOMER、NATION、PART、PARTSUPP、REGION、SUPPLIER。的数据全量抽取到Hive的ods库中对应表customer，nation，part，partsupp，region，sup。先启动hdfs，在执行hive --service merastore，后运行代码。
2024-03-27 20:54:39
472
原创 2022年全国职业院校技能大赛-大数据
在传统运营模式中，缺乏数据积累，人们在做出一些决策行为过程中，更多是凭借个人经验和直觉，发展路径比较自我封闭。编写Scala工程代码，将MySQL的shtd_store库中表CUSTOMER、NATION、PART、PARTSUPP、REGION、SUPPLIER的数据全量抽取到Hive的ods库中对应表customer，nation，part，partsupp，region，supplier中，将表ORDERS、LINEITEM的数据增量抽取到Hive的ods库中对应表ORDERS，LINEITEM中。
2024-03-26 11:52:09
791
原创 kafka常用命令
echo "Hello, Kafka" | ./bin/kafka-console-producer.sh --broker-list 192.168.100.140:9092 --topic ods_mall_data./bin/kafka-console-producer.sh --broker-list xueai:9092 --topic ods_mall_data./bin/zookeeper-server-start.sh config/zookeeper.properties./bin/k
2024-02-27 08:14:22
435
原创 使用flink（scala）和Flume从虚拟机端口上传数据到idae控制台中
flink代码（scala版） maven依赖 flink代码 步骤 第一步：先运行flink代码 第二步：正常启动集群 第三步：先执行连接端口输入消费单（输入数据）：nc -lk 7777 第四步：执行Flume（我这里用的是绝对路径，因为没有配环境变量
2024-01-23 02:30:00
375
1
原创 虚拟机Linux下载JDK详细步骤
1.安装lrzsz（用于从Win上传文件到Linux）：yum install -y lrzsz 注意：在Ubuntu中还需要先安装yum：sudo apt install yum 1.1、检查是否安装成功：rz --v 或者 sz --v 1.2、上传文件：rz -v2.上传JDK后并解压：tar -zxvf jdk-8u212-linux-x64.tar.gz -C /opt/module/3.在jdk目录中添加文件：sudo vi /etc/profile.d
2024-01-13 20:29:57
849
1
原创 Linux网络配置步骤
1.打开配置信息：vi /etc/sysconfig/network-scripts/ifcfg-ens33。IPADDR=192.168.100.131 （根据自己的情况改）2.配置好重启网卡：service network restart。BOOTPROTO=static （改静态）ONBOOT=yes （改yes）
2024-01-10 15:37:47
692
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人