- 博客(26)
- 收藏
- 关注
RSS订阅
原创 2024大数据职业技能竞赛（国赛）模块B数据处理题解
第一套各节点可通过Asbru工具或SSH客户端进行SSH访问；主节点MySQL数据库用户名/密码：root/123456（已配置远程连接）；Hive的配置文件位于/opt/apache-hive-2.3.4-bin/conf/Spark任务在Yarn上用Client运行，方便观察日志。
2024-01-06 23:39:06
1229
1
原创 世界技能竞赛大数据应用开发环境1:1还原
世界职业院校技能竞赛，全国职业技能竞赛，大数据应用开发，国赛大数据，数据处理，数据可视化，大数据平台搭建。
2024-11-08 11:33:38
255
原创 2024大数据职业技能竞赛（国赛）模块E，子任务十一：用条形图展示平均消费额最高的地区
编写Vue工程代码，根据接口，用条形图展示2020年平均消费额（四舍五入保留两位小数）最高的5个地区，同时将用于图表展示的数据结构在浏览器的console中进行打印输出，将图表可视化结果和浏览器console打印结果分别截图并粘贴至客户端桌面【Release\任务E提交结果.docx】中对应的任务序号下。私聊博主获取全部数据。
2024-07-24 08:00:00
314
1
原创 2024大数据职业技能竞赛（国赛）模块E，子任务十：用饼状图展示各地区的平均消费能力
编写Vue工程代码，根据接口，用饼状图展示2020年各地区订单的平均消费额，同时将用于图表展示的数据结构在浏览器的console中进行打印输出，将图表可视化结果和浏览器console打印结果分别截图并粘贴至客户端桌面【Release\任务E提交结果.docx】中对应的任务序号下。私聊博主获取全部数据。
2024-07-23 08:00:00
373
原创 2024大数据职业技能竞赛（国赛）模块E，子任务九：用散点图展示省份平均消费额
编写Vue工程代码，根据接口，用基础散点图展示2020年最高10个省份平均消费额（四舍五入保留两位小数），同时将用于图表展示的数据结构在浏览器的console中进行打印输出，将图表可视化结果和浏览器console打印结果分别截图并粘贴至客户端桌面【Release\任务E提交结果.docx】中对应的任务序号下。
2024-07-22 08:00:00
230
原创 2024大数据职业技能竞赛（国赛）模块E，子任务八：用条形图展示消费额最高的地区
编写Vue工程代码，根据接口，用条形图展示2020年消费额最高的5个地区，同时将用于图表展示的数据结构在浏览器的console中进行打印输出，将图表可视化结果和浏览器console打印结果分别截图并粘贴至客户端桌面【Release\任务E提交结果.docx】中对应的任务序号下。私聊博主获取全部数据。
2024-04-27 21:49:53
238
2
原创 2024大数据职业技能竞赛（国赛）模块E，子任务七：用饼状图展示各地区消费能力
编写Vue工程代码，根据接口，用饼状图展示2020年各地区的消费总额占比，同时将用于图表展示的数据结构在浏览器的console中进行打印输出，将图表可视化结果和浏览器console打印结果分别截图并粘贴至客户端桌面【Release\任务E提交结果.docx】中对应的任务序号下。私聊博主获取全部数据。
2024-04-23 12:36:10
291
1
原创 2024大数据职业技能竞赛（国赛）模块E，子任务六：用柱状图展示各地区消费额的中位数
编写Vue工程代码，根据接口，用柱状图展示2020年各地区所有订单消费额的中位数（降序排列，若有小数则四舍五入保留两位），同时将用于图表展示的数据结构在浏览器的console中进行打印输出，将图表可视化结果和浏览器console打印结果分别截图并粘贴至客户端桌面【Release\任务E提交结果.docx】中对应的任务序号下。私聊博主获取全部数据。
2024-04-20 18:38:32
446
1
原创 2024大数据职业技能竞赛（国赛）模块E，子任务五：用折柱混合图展示省份平均消费额和地区平均消费额
编写Vue工程代码，根据接口，用折柱混合图展示2020年各省份平均消费额（四舍五入保留两位小数）和地区平均消费额（四舍五入保留两位小数）的对比情况，柱状图展示平均消费额最高的5个省份，折线图展示这5个省所在的地区的平均消费额变化，同时将用于图表展示的数据结构在浏览器的console中进行打印输出，将图表可视化结果和浏览器console打印结果分别截图并粘贴至客户端桌面【Release\任务E提交结果.docx】中对应的任务序号下。
2024-04-14 01:46:24
468
1
原创 2024大数据职业技能竞赛（国赛）模块E，子任务四：用条形图展示平均消费额最高的省份
编写Vue工程代码，根据接口，用条形图展示2020年平均消费额（四舍五入保留两位小数）最高的5个省份，同时将用于图表展示的数据结构在浏览器的console中进行打印输出，将图表可视化结果和浏览器console打印结果分别截图并粘贴至客户端桌面【Release\任务E提交结果.docx】中对应的任务序号下。需要接口数据的可以私聊！
2024-03-27 22:04:11
510
原创 2024大数据职业技能竞赛（国赛）模块E，子任务三：用折线图展示每年上架商品数量变化
编写Vue工程代码，根据接口，用折线图展示每年上架商品数量的变化情况，同时将用于图表展示的数据结构在浏览器的console中进行打印输出，将图表可视化结果和浏览器console打印结果分别截图并粘贴至客户端桌面【Release\任务E提交结果.docx】中对应的任务序号下。
2024-03-26 23:23:23
405
原创 2024大数据职业技能竞赛（国赛）模块E，子任务二：用柱状图展示消费额最低的省份
编写Vue工程代码，根据接口，用柱状图展示2020年消费额最低的5个省份，同时将用于图表展示的数据结构在浏览器的console中进行打印输出，将图表可视化结果和浏览器console打印结果分别截图并粘贴至客户端桌面【Release\任务E提交结果.docx】中对应的任务序号下。2024大数据职业技能竞赛（国赛）模块E数据展现题解。
2024-03-24 13:02:48
417
1
原创 2024大数据职业技能竞赛（国赛）模块E，子任务一：用柱状图展示消费额最高的省份
编写Vue工程代码，根据接口，用柱状图展示2020年消费额最高的5个省份，同时将用于图表展示的数据结构在浏览器的console中进行打印输出，将图表可视化结果和浏览器console打印结果分别截图并粘贴至客户端桌面【Release\任务E提交结果.docx】中对应的任务序号下。
2024-03-22 15:10:32
562
2
原创 Flume实时数据采集
1、 在主节点使用Flume采集实时数据生成器10050端口的socket数据（实时数据生成器脚本为主节点/data_log目录下的dj_data_gen脚本，该脚本为主节点本地部署且使用socket传输），将数据存入到Kafka的Topic中（Topic名称为order，分区数为4），使用Kafka自带的消费者消费order（Topic）中的数据，将前2条数据的结果截图粘贴至客户端桌面【Release\任务D提交结果.docx】中对应的任务序号下；
2024-01-24 03:51:04
2451
3
原创 2023大数据技能竞赛模块B数据抽取Task1_4(工业)
使用hive cli执行show partitions ods.machinedata命令，将hive cli的执行结果截图粘贴至客户端桌面【Release\任务B提交结果.docx】中对应的任务序号下。编写Scala代码，使用Spark将MySQL库中表ChangeRecord，BaseMachine，MachineData， ProduceRecord全量抽取到Hive的ods库中对应表changerecord，basemachine， machinedata，producerecord中。
2024-01-19 22:21:03
435
1
原创 2023大数据技能竞赛模块B数据抽取Task1_3(工业)
使用hive cli执行show partitions ods.producerecord命令，将hive cli的执行结果截图粘贴至客户端桌面【Release\任务B提交结果.docx】中对应的任务序号下；编写Scala代码，使用Spark将MySQL库中表ChangeRecord，BaseMachine，MachineData， ProduceRecord全量抽取到Hive的ods库中对应表changerecord，basemachine， machinedata，producerecord中。
2024-01-19 22:19:18
409
1
原创 2023大数据技能竞赛模块B数据抽取Task1_2(工业)
使用hive cli执行show partitions ods.basemachine命令，将hive cli的执行结果截图粘贴至客户端桌面【Release\任务B提交结果.docx】中对应的任务序号下；编写Scala代码，使用Spark将MySQL库中表ChangeRecord，BaseMachine，MachineData， ProduceRecord全量抽取到Hive的ods库中对应表changerecord，basemachine， machinedata，producerecord中。
2024-01-19 22:17:50
404
1
原创 2023大数据技能竞赛模块B数据抽取Task1_1(工业)
使用hive cli执行show partitions ods.changerecord命令，将hive cli的执行结果截图粘贴至客户端桌面【Release\任务B提交结果.docx】中对应的任务序号下；编写Scala代码，使用Spark将MySQL库中表ChangeRecord，BaseMachine，MachineData， ProduceRecord全量抽取到Hive的ods库中对应表changerecord，basemachine， machinedata，producerecord中。
2024-01-19 22:15:50
553
1
原创 2023大数据技能竞赛模块B数据抽取Task1_6(电商)
编写Scala代码，使用Spark将MySQL的shtd_store库中表user_info、sku_info、base_province、base_region、order_info、order_detail的数据增量抽取到Hive的ods库中对应表user_info、sku_info、base_province、base_region、order_info、order_detail中。(若ods库中部分表没有数据，正常抽取即可)以上代码如有错误，请各位大佬指正。
2024-01-06 23:14:12
467
1
原创 2023大数据技能竞赛模块B数据抽取Task1_5(电商)
编写Scala代码，使用Spark将MySQL的shtd_store库中表user_info、sku_info、base_province、base_region、order_info、order_detail的数据增量抽取到Hive的ods库中对应表user_info、sku_info、base_province、base_region、order_info、order_detail中。(若ods库中部分表没有数据，正常抽取即可)以上代码如有错误，请各位大佬指正。
2024-01-06 23:11:14
415
1
原创 2023大数据技能竞赛模块B数据抽取Task1_4(电商)
抽取shtd_store库中base_region的增量数据进入Hive的ods库中表base_region。编写Scala代码，使用Spark将MySQL的shtd_store库中表user_info、sku_info、base_province、base_region、order_info、order_detail的数据增量抽取到Hive的ods库中对应表user_info、sku_info、base_province、base_region、order_info、order_detail中。
2024-01-06 23:09:00
398
3
原创 2023大数据技能竞赛模块B数据抽取Task1_3(电商)
抽取shtd_store库中base_province的增量数据进入Hive的ods库中表base_province。编写Scala代码，使用Spark将MySQL的shtd_store库中表user_info、sku_info、base_province、base_region、order_info、order_detail的数据增量抽取到Hive的ods库中对应表user_info、sku_info、base_province、base_region、order_info、order_detail中。
2024-01-06 23:04:51
550
原创 2023大数据技能竞赛模块B数据抽取Task1_2(电商)
抽取shtd_store库中sku_info的增量数据进入Hive的ods库中表sku_info。编写Scala代码，使用Spark将MySQL的shtd_store库中表user_info、sku_info、base_province、base_region、order_info、order_detail的数据增量抽取到Hive的ods库中对应表user_info、sku_info、base_province、base_region、order_info、order_detail中。
2024-01-03 14:08:29
517
原创 2023大数据技能竞赛模块B数据抽取Task1_1(电商)
编写Scala代码，使用Spark将MySQL的shtd_store库中表user_info、sku_info、base_province、base_region、order_info、order_detail的数据增量抽取到Hive的ods库中对应表user_info、sku_info、base_province、base_region、order_info、order_detail中。(若ods库中部分表没有数据，正常抽取即可)以上代码如有错误，请各位大佬指正。
2024-01-03 13:17:46
763
1
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人