- 博客(22)
- 收藏
- 关注
RSS订阅
原创 2024大数据职业技能竞赛（国赛）模块B数据处理题解
第一套各节点可通过Asbru工具或SSH客户端进行SSH访问；主节点MySQL数据库用户名/密码：root/123456（已配置远程连接）；Hive的配置文件位于/opt/apache-hive-2.3.4-bin/conf/Spark任务在Yarn上用Client运行，方便观察日志。
2024-01-06 23:39:06
1110
1
原创 2024大数据职业技能竞赛（国赛）模块E，子任务八：用条形图展示消费额最高的地区
编写Vue工程代码，根据接口，用条形图展示2020年消费额最高的5个地区，同时将用于图表展示的数据结构在浏览器的console中进行打印输出，将图表可视化结果和浏览器console打印结果分别截图并粘贴至客户端桌面【Release\任务E提交结果.docx】中对应的任务序号下。私聊博主获取全部数据。
2024-04-27 21:49:53
185
2
原创 2024大数据职业技能竞赛（国赛）模块E，子任务七：用饼状图展示各地区消费能力
编写Vue工程代码，根据接口，用饼状图展示2020年各地区的消费总额占比，同时将用于图表展示的数据结构在浏览器的console中进行打印输出，将图表可视化结果和浏览器console打印结果分别截图并粘贴至客户端桌面【Release\任务E提交结果.docx】中对应的任务序号下。私聊博主获取全部数据。
2024-04-23 12:36:10
215
1
原创 2024大数据职业技能竞赛（国赛）模块E，子任务六：用柱状图展示各地区消费额的中位数
编写Vue工程代码，根据接口，用柱状图展示2020年各地区所有订单消费额的中位数（降序排列，若有小数则四舍五入保留两位），同时将用于图表展示的数据结构在浏览器的console中进行打印输出，将图表可视化结果和浏览器console打印结果分别截图并粘贴至客户端桌面【Release\任务E提交结果.docx】中对应的任务序号下。私聊博主获取全部数据。
2024-04-20 18:38:32
331
1
原创 2024大数据职业技能竞赛（国赛）模块E，子任务五：用折柱混合图展示省份平均消费额和地区平均消费额
编写Vue工程代码，根据接口，用折柱混合图展示2020年各省份平均消费额（四舍五入保留两位小数）和地区平均消费额（四舍五入保留两位小数）的对比情况，柱状图展示平均消费额最高的5个省份，折线图展示这5个省所在的地区的平均消费额变化，同时将用于图表展示的数据结构在浏览器的console中进行打印输出，将图表可视化结果和浏览器console打印结果分别截图并粘贴至客户端桌面【Release\任务E提交结果.docx】中对应的任务序号下。
2024-04-14 01:46:24
354
1
原创 2024大数据职业技能竞赛（国赛）模块E，子任务四：用条形图展示平均消费额最高的省份
编写Vue工程代码，根据接口，用条形图展示2020年平均消费额（四舍五入保留两位小数）最高的5个省份，同时将用于图表展示的数据结构在浏览器的console中进行打印输出，将图表可视化结果和浏览器console打印结果分别截图并粘贴至客户端桌面【Release\任务E提交结果.docx】中对应的任务序号下。需要接口数据的可以私聊！
2024-03-27 22:04:11
411
原创 2024大数据职业技能竞赛（国赛）模块E，子任务三：用折线图展示每年上架商品数量变化
编写Vue工程代码，根据接口，用折线图展示每年上架商品数量的变化情况，同时将用于图表展示的数据结构在浏览器的console中进行打印输出，将图表可视化结果和浏览器console打印结果分别截图并粘贴至客户端桌面【Release\任务E提交结果.docx】中对应的任务序号下。
2024-03-26 23:23:23
311
原创 2024大数据职业技能竞赛（国赛）模块E，子任务二：用柱状图展示消费额最低的省份
编写Vue工程代码，根据接口，用柱状图展示2020年消费额最低的5个省份，同时将用于图表展示的数据结构在浏览器的console中进行打印输出，将图表可视化结果和浏览器console打印结果分别截图并粘贴至客户端桌面【Release\任务E提交结果.docx】中对应的任务序号下。2024大数据职业技能竞赛（国赛）模块E数据展现题解。
2024-03-24 13:02:48
344
1
原创 2024大数据职业技能竞赛（国赛）模块E，子任务一：用柱状图展示消费额最高的省份
编写Vue工程代码，根据接口，用柱状图展示2020年消费额最高的5个省份，同时将用于图表展示的数据结构在浏览器的console中进行打印输出，将图表可视化结果和浏览器console打印结果分别截图并粘贴至客户端桌面【Release\任务E提交结果.docx】中对应的任务序号下。
2024-03-22 15:10:32
368
1
原创 Flume实时数据采集
1、 在主节点使用Flume采集实时数据生成器10050端口的socket数据（实时数据生成器脚本为主节点/data_log目录下的dj_data_gen脚本，该脚本为主节点本地部署且使用socket传输），将数据存入到Kafka的Topic中（Topic名称为order，分区数为4），使用Kafka自带的消费者消费order（Topic）中的数据，将前2条数据的结果截图粘贴至客户端桌面【Release\任务D提交结果.docx】中对应的任务序号下；
2024-01-24 03:51:04
2148
3
原创 2023大数据技能竞赛模块B数据抽取Task1_4(工业)
使用hive cli执行show partitions ods.machinedata命令，将hive cli的执行结果截图粘贴至客户端桌面【Release\任务B提交结果.docx】中对应的任务序号下。编写Scala代码，使用Spark将MySQL库中表ChangeRecord，BaseMachine，MachineData， ProduceRecord全量抽取到Hive的ods库中对应表changerecord，basemachine， machinedata，producerecord中。
2024-01-19 22:21:03
389
1
原创 2023大数据技能竞赛模块B数据抽取Task1_3(工业)
使用hive cli执行show partitions ods.producerecord命令，将hive cli的执行结果截图粘贴至客户端桌面【Release\任务B提交结果.docx】中对应的任务序号下；编写Scala代码，使用Spark将MySQL库中表ChangeRecord，BaseMachine，MachineData， ProduceRecord全量抽取到Hive的ods库中对应表changerecord，basemachine， machinedata，producerecord中。
2024-01-19 22:19:18
371
1
原创 2023大数据技能竞赛模块B数据抽取Task1_2(工业)
使用hive cli执行show partitions ods.basemachine命令，将hive cli的执行结果截图粘贴至客户端桌面【Release\任务B提交结果.docx】中对应的任务序号下；编写Scala代码，使用Spark将MySQL库中表ChangeRecord，BaseMachine，MachineData， ProduceRecord全量抽取到Hive的ods库中对应表changerecord，basemachine， machinedata，producerecord中。
2024-01-19 22:17:50
376
1
原创 2023大数据技能竞赛模块B数据抽取Task1_1(工业)
使用hive cli执行show partitions ods.changerecord命令，将hive cli的执行结果截图粘贴至客户端桌面【Release\任务B提交结果.docx】中对应的任务序号下；编写Scala代码，使用Spark将MySQL库中表ChangeRecord，BaseMachine，MachineData， ProduceRecord全量抽取到Hive的ods库中对应表changerecord，basemachine， machinedata，producerecord中。
2024-01-19 22:15:50
474
1
原创 2023大数据技能竞赛模块B数据抽取Task1_6(电商)
编写Scala代码，使用Spark将MySQL的shtd_store库中表user_info、sku_info、base_province、base_region、order_info、order_detail的数据增量抽取到Hive的ods库中对应表user_info、sku_info、base_province、base_region、order_info、order_detail中。(若ods库中部分表没有数据，正常抽取即可)以上代码如有错误，请各位大佬指正。
2024-01-06 23:14:12
425
1
原创 2023大数据技能竞赛模块B数据抽取Task1_5(电商)
编写Scala代码，使用Spark将MySQL的shtd_store库中表user_info、sku_info、base_province、base_region、order_info、order_detail的数据增量抽取到Hive的ods库中对应表user_info、sku_info、base_province、base_region、order_info、order_detail中。(若ods库中部分表没有数据，正常抽取即可)以上代码如有错误，请各位大佬指正。
2024-01-06 23:11:14
387
1
原创 2023大数据技能竞赛模块B数据抽取Task1_4(电商)
抽取shtd_store库中base_region的增量数据进入Hive的ods库中表base_region。编写Scala代码，使用Spark将MySQL的shtd_store库中表user_info、sku_info、base_province、base_region、order_info、order_detail的数据增量抽取到Hive的ods库中对应表user_info、sku_info、base_province、base_region、order_info、order_detail中。
2024-01-06 23:09:00
373
3
原创 2023大数据技能竞赛模块B数据抽取Task1_3(电商)
抽取shtd_store库中base_province的增量数据进入Hive的ods库中表base_province。编写Scala代码，使用Spark将MySQL的shtd_store库中表user_info、sku_info、base_province、base_region、order_info、order_detail的数据增量抽取到Hive的ods库中对应表user_info、sku_info、base_province、base_region、order_info、order_detail中。
2024-01-06 23:04:51
470
原创 2023大数据技能竞赛模块B数据抽取Task1_2(电商)
抽取shtd_store库中sku_info的增量数据进入Hive的ods库中表sku_info。编写Scala代码，使用Spark将MySQL的shtd_store库中表user_info、sku_info、base_province、base_region、order_info、order_detail的数据增量抽取到Hive的ods库中对应表user_info、sku_info、base_province、base_region、order_info、order_detail中。
2024-01-03 14:08:29
458
原创 2023大数据技能竞赛模块B数据抽取Task1_1(电商)
编写Scala代码，使用Spark将MySQL的shtd_store库中表user_info、sku_info、base_province、base_region、order_info、order_detail的数据增量抽取到Hive的ods库中对应表user_info、sku_info、base_province、base_region、order_info、order_detail中。(若ods库中部分表没有数据，正常抽取即可)以上代码如有错误，请各位大佬指正。
2024-01-03 13:17:46
696
1
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人