![](https://img-blog.csdnimg.cn/direct/c2aa0834528440cf8a5d80d35cd05311.jpeg?x-oss-process=image/resize,m_fixed,h_224,w_224)
大数据应用开发竞赛试题
文章平均质量分 90
大数据时代背景下,电商经营模式发生很大改变。在传统运营模式中,缺乏数据积累,人们在做出一些决策行为过程中,更多是凭借个人经验和直觉,发展路径比较自我封闭。而大数据时代,为人们提供一种全新的思路,通过大量的数据分析得出的结果将更加现实和准确。商家可以对客户的消费行为信息数据进行收集和整理,比如消费者购
旺仔Sec
"进步是一种渐进的过程,每一步都是向前迈出的胜利";CSDN认证网络安全领域优质创作者;曾获得网络竞赛&&网安竞赛省级一等奖两项,软件开发国家级一等奖一项,大学期间曾获奖项20余项;熟练掌握【Java】【C】【Python】现担任某大厂安全测试工程师;喜欢记录自己所学知识,热爱生活
展开
-
2024年海南省职业院校技能大赛(高职组)大数据应用开发竞赛样题
为适应大数据产业对高素质技术技能型人才的职业需求,赛项以大数据技术与应用为核心内容和工作基础,重点考查参赛选手基于Hadoop、Spark、Flink平台环境下,充分利用Spark Core、Spark SQL、Flume、Kafka、Flink、Hive、HBase、Redis、Maxwell、ClickHouse、MySQL等相关技术的特点,基于Scala、JavaScript等开发语言,综合软件开发相关技术,解决实际问题的能力,激发学生对大数据相关知识和技术的学习兴趣,提升学生职业素养和职业技能原创 2024-08-12 14:11:20 · 485 阅读 · 0 评论 -
2024年甘肃省职业院校技能大赛高职组“大数据应用开发”赛题③
大数据时代背景下,电商经营模式发生很大改变。在传统运营模式中,缺乏数据积累,人们在做出一些决策行为过程中,更多是凭借个人经验和直觉,发展路径比较自我封闭。而大数据时代,为人们提供一种全新的思路,通过大量的数据分析得出的结果将更加现实和准确。商家可以对客户的消费行为信息数据进行收集和整理,比如消费者购买产品的花费、选择产品的渠道、偏好产品的类型、产品回购周期、购买产品的目的、消费者家庭背景、工作和生活环境、个人消费观和价值观等。通过数据追踪,知道顾客从哪儿来,是看了某网站投放的广告还是通过朋友推荐链接,是新访原创 2024-07-07 15:37:01 · 1121 阅读 · 0 评论 -
2024年甘肃省职业院校技能大赛高职组“大数据应用开发” 赛题②
大数据时代背景下,电商经营模式发生很大改变。在传统运营模式中,缺乏数据积累,人们在做出一些决策行为过程中,更多是凭借个人经验和直觉,发展路径比较自我封闭。而大数据时代,为人们提供一种全新的思路,通过大量的数据分析得出的结果将更加现实和准确。商家可以对客户的消费行为信息数据进行收集和整理,比如消费者购买产品的花费、选择产品的渠道、偏好产品的类型、产品回购周期、购买产品的目的、消费者家庭背景、工作和生活环境、个人消费观和价值观等。通过数据追踪,知道顾客从哪儿来,是看了某网站投放的广告还是通过朋友推荐链接,是新访原创 2024-07-07 15:25:50 · 936 阅读 · 0 评论 -
2024年甘肃省职业院校技能大赛高职组“大数据应用开发”赛题①
大数据时代背景下,电商经营模式发生很大改变。在传统运营模式中,缺乏数据积累,人们在做出一些决策行为过程中,更多是凭借个人经验和直觉,发展路径比较自我封闭。而大数据时代,为人们提供一种全新的思路,通过大量的数据分析得出的结果将更加现实和准确。商家可以对客户的消费行为信息数据进行收集和整理,比如消费者购买产品的花费、选择产品的渠道、偏好产品的类型、产品回购周期、购买产品的目的、消费者家庭背景、工作和生活环境、个人消费观和价值观等。通过数据追踪,知道顾客从哪儿来,是看了某网站投放的广告还是通过朋友推荐链接,是新访原创 2024-07-07 15:17:29 · 814 阅读 · 0 评论 -
2024年甘肃省职业院校技能大赛中职组“大数据应用与服务”赛题③
数据文件名见如下“电影数据文件名说明表”,每个文件中需要爬取数据的列名见如下“抓取数据字段说明表”,注意,保存到文件中时,必须按表中字段的列举顺序进行保存。(3)时长处理:时长处理为整型,如果有秒数的,可忽略不计,时长有缺失的,要使用电影上映同年的其它电影的平均时长来填充,如果没有和其同年上映的电影,则使用其它所有年份电影上映平均时长的平均值来填充(例如现有年份2020、2021、2022,没有2020年上映的电影,则用2021年上映电影的平均时长和2022年上映电影的平均时长取平均值去填充);原创 2024-07-05 15:29:10 · 1099 阅读 · 0 评论 -
2024年甘肃省职业院校技能大赛中职组“大数据应用与服务赛项”赛题②
数据文件名见如下“电影数据文件名说明表”,每个文件中需要爬取数据的列名见如下“抓取数据字段说明表”,注意,保存到文件中时,必须按表中字段的列举顺序进行保存。(3)时长处理:时长处理为整型,如果有秒数的,可忽略不计,时长有缺失的,要使用电影上映同年的其它电影的平均时长来填充,如果没有 和其同年上映的电影,则使用其它所有年份电影上映平均时长的平均 值来填充(例如现有年份2020、2021、2022,没有2020年上映的电影, 则用2021年上映电影的平均时长和2022年上映电影的平均时长取平均 值去填充);原创 2024-07-05 15:13:54 · 1155 阅读 · 0 评论 -
2024年甘肃省职业院校技能大赛中职组“大数据应用与服务“赛卷①
(3)将用户数据、电影数据、评分数据合并为一张表,合并后将性别列使用数字进行替换,0代表female,1代表male,处理完成后将数据保存到“film”项目下的“clean_data”目录中,并命名为 “merged_data.csv”,保存后使用WPS打开,截取行号为1001~1020行数据截图粘贴到答题报告中的相应位置;画布大小为(15, 10);2、筛选出2020年6月的天气,新增一列数据为“是否适合出游”,若当日最低气温大于等于20且最高气温小于等于25,则打标签为“是”,否则标记为“否”。原创 2024-07-05 12:18:31 · 704 阅读 · 0 评论 -
2024年浙江省中等职业学校职业能力大赛(学生技术技能类) “大数据应用与服务”赛项样卷
为了更好地统筹管理城市的旅游资源,某省的旅游管理部门采集了本省若干城市的酒店经营数据和用户评论数据,其中酒店经营数据包括日期、城市、酒店名称、酒店星级、酒店当天 预定房间数、酒店当天入住客户数、酒店当天最高房价和酒店当天最 低房价等字段,这些数据保存到文件hotel.csv 中。2)使用 matplotlib 绘制柱状图, 柱状图的标题为“不同星级酒 店的住客评分数据”, 柱状图的横坐标分别为三星级酒店、四星级 酒店和五星级酒店,纵坐标为星级酒店对应的住客评分的平均值。请按照下面的要求完成相关任务。原创 2024-05-17 15:10:12 · 647 阅读 · 0 评论 -
2023年全国职业院校技能大赛高职组大数据应用开发赛题第10套
环境说明:子任务一:Hadoop HA安装配置本任务需要使用root用户完成相关配置,安装Hadoop需要配置前置环境。命令中要求使用绝对路径,具体要求如下:1、从宿主机/opt目录下将文件hadoop-3.1.3.tar.gz、jdk-8u212-linux-x64.tar.gz,apache-zookeeper-3.5.7-bin.tar.gz复制到容器Master中的/opt/software路径中(若路径不存在,则需新建),分别将Master节点Hadoop、ZooKeeper、JDK安装包原创 2024-04-19 15:58:26 · 824 阅读 · 0 评论 -
2023年全国职业院校技能大赛高职组大数据应用开发赛题第08套
4、抽取ods库中producerecord的全量数据进入Hive的dwd库中表fact_produce_record,分区字段为etldate且值与ods库的相对应表该值相等,并添加dwd_insert_user、dwd_insert_time、dwd_modify_user、dwd_modify_time四列,其中dwd_insert_user、dwd_modify_user均填写“user1”,dwd_insert_time、dwd_modify_time均填写当前操作时间,并进行数据类型转换。原创 2024-04-19 15:53:54 · 726 阅读 · 0 评论 -
2023年全国职业院校技能大赛高职组大数据应用开发赛题第09套
4、抽取ods库中producerecord的全量数据进入Hive的dwd库中表fact_produce_record,分区字段为etldate且值与ods库的相对应表该值相等,并添加dwd_insert_user、dwd_insert_time、dwd_modify_user、dwd_modify_time四列,其中dwd_insert_user、dwd_modify_user均填写“user1”,dwd_insert_time、dwd_modify_time均填写当前操作时间,并进行数据类型转换。原创 2024-04-19 15:53:24 · 708 阅读 · 0 评论 -
2023年全国职业院校技能大赛高职组大数据应用开发赛题第07套
环境说明:子任务一:Hadoop 完全分布式安装配置本任务需要使用root用户完成相关配置,安装Hadoop需要配置前置环境。命令中要求使用绝对路径,具体要求如下:1、从宿主机/opt目录下将文件hadoop-3.1.3.tar.gz、jdk-8u212-linux-x64.tar.gz复制到容器Master中的/opt/software路径中(若路径不存在,则需新建),将Master节点JDK安装包解压到/opt/module路径中(若路径不存在,则需新建),将JDK解压命令复制并粘贴至客户端桌面原创 2024-04-19 15:41:10 · 800 阅读 · 0 评论 -
2024年辽宁省职业院校技能大赛高职组“大数据应用开发“赛题第03套
环境说明:服务端登录地址详见各任务服务端说明。补充说明:宿主机及各容器节点可通过Asbru工具或SSH客户端进行SSH访问。MySQL已在容器的Master中安装完毕,用户名/密码为root/123456子任务一:Hadoop HA安装配置本任务需要使用root用户完成相关配置,安装Hadoop需要配置前置环境。命令中要求使用绝对路径,具体要求如下:1、从宿主机/opt目录下将文件hadoop-3.1.3.tar.gz、jdk-8u212-linux-x64.tar.gz,apache-zook原创 2024-04-05 17:42:21 · 839 阅读 · 0 评论 -
2024年辽宁省职业院校技能大赛高职组“大数据应用开发“赛题第02套
环境说明:服务端登录地址详见各任务服务端说明。补充说明:宿主机及各容器节点可通过Asbru工具或SSH客户端进行SSH访问。子任务一:Hadoop 完全分布式安装配置本任务需要使用root用户完成相关配置,安装Hadoop需要配置前置环境。命令中要求使用绝对路径,具体要求如下:1、从宿主机/opt目录下将文件hadoop-3.1.3.tar.gz、jdk-8u212-linux-x64.tar.gz复制到容器Master中的/opt/software路径中(若路径不存在,则需新建),将Master原创 2024-04-05 17:39:18 · 1066 阅读 · 0 评论 -
2024年辽宁省职业院校技能大赛高职组“大数据应用开发“赛题第01套
环境说明:服务端登录地址详见各任务服务端说明。补充说明:宿主机及各容器节点可通过Asbru工具或SSH客户端进行SSH访问。子任务一:Hadoop 完全分布式安装配置本任务需要使用root用户完成相关配置,安装Hadoop需要配置前置环境。命令中要求使用绝对路径,具体要求如下:1、从宿主机/opt目录下将文件hadoop-3.1.3.tar.gz、jdk-8u212-linux-x64.tar.gz复制到容器Master中的/opt/software路径中(若路径不存在,则需新建),将Master原创 2024-04-05 17:36:01 · 971 阅读 · 0 评论 -
2024年贵州省职业院校技能大赛高职组“大数据应用开发“赛题第10套
环境说明:服务端登录地址详见各任务服务端说明。补充说明:宿主机及各容器节点可通过Asbru工具或SSH客户端进行SSH访问。子任务一:Hadoop 完全分布式安装配置本任务需要使用root用户完成相关配置,安装Hadoop需要配置前置环境。命令中要求使用绝对路径,具体要求如下:1、从宿主机/opt目录下将文件hadoop-3.1.3.tar.gz、jdk-8u212-linux-x64.tar.gz复制到容器Master中的/opt/software路径中(若路径不存在,则需新建),将Master原创 2024-04-05 17:31:32 · 1063 阅读 · 0 评论 -
2024年贵州省职业院校技能大赛高职组“大数据应用开发“赛题第09套
环境说明:服务端登录地址详见各任务服务端说明。补充说明:宿主机及各容器节点可通过Asbru工具或SSH客户端进行SSH访问。MySQL已在容器的Master中安装完毕,用户名/密码为root/123456子任务一:Hadoop HA安装配置本任务需要使用root用户完成相关配置,安装Hadoop需要配置前置环境。命令中要求使用绝对路径,具体要求如下:1、从宿主机/opt目录下将文件hadoop-3.1.3.tar.gz、jdk-8u212-linux-x64.tar.gz,apache-zook原创 2024-04-05 17:29:47 · 647 阅读 · 0 评论 -
2024年贵州省职业院校技能大赛高职组“大数据应用开发“赛题第08套
环境说明:服务端登录地址详见各任务服务端说明。补充说明:宿主机及各容器节点可通过Asbru工具或SSH客户端进行SSH访问。子任务一:Hadoop 完全分布式安装配置本任务需要使用root用户完成相关配置,安装Hadoop需要配置前置环境。命令中要求使用绝对路径,具体要求如下:1、从宿主机/opt目录下将文件hadoop-3.1.3.tar.gz、jdk-8u212-linux-x64.tar.gz复制到容器Master中的/opt/software路径中(若路径不存在,则需新建),将Master原创 2024-04-05 17:25:39 · 895 阅读 · 0 评论 -
2024年贵州省职业院校技能大赛高职组“大数据应用开发“赛题第07套
环境说明:服务端登录地址详见各任务服务端说明。补充说明:宿主机及各容器节点可通过Asbru工具或SSH客户端进行SSH访问。子任务一:Hadoop 完全分布式安装配置本任务需要使用root用户完成相关配置,安装Hadoop需要配置前置环境。命令中要求使用绝对路径,具体要求如下:1、从宿主机/opt目录下将文件hadoop-3.1.3.tar.gz、jdk-8u212-linux-x64.tar.gz复制到容器Master中的/opt/software路径中(若路径不存在,则需新建),将Master原创 2024-04-05 17:21:43 · 827 阅读 · 0 评论 -
2024年贵州省职业院校技能大赛高职组“大数据应用开发“赛题第06套
环境说明:服务端登录地址详见各任务服务端说明。补充说明:宿主机及各容器节点可通过Asbru工具或SSH客户端进行SSH访问。子任务一:Hadoop 完全分布式安装配置本任务需要使用root用户完成相关配置,安装Hadoop需要配置前置环境。命令中要求使用绝对路径,具体要求如下:1、从宿主机/opt目录下将文件hadoop-3.1.3.tar.gz、jdk-8u212-linux-x64.tar.gz复制到容器Master中的/opt/software路径中(若路径不存在,则需新建),将Master原创 2024-04-05 17:19:57 · 1120 阅读 · 0 评论 -
2024年贵州省职业院校技能大赛高职组“大数据应用开发“赛题第05套
环境说明:服务端登录地址详见各任务服务端说明。补充说明:宿主机及各容器节点可通过Asbru工具或SSH客户端进行SSH访问。子任务一:Hadoop 完全分布式安装配置本任务需要使用root用户完成相关配置,安装Hadoop需要配置前置环境。命令中要求使用绝对路径,具体要求如下:1、从宿主机/opt目录下将文件hadoop-3.1.3.tar.gz、jdk-8u212-linux-x64.tar.gz复制到容器Master中的/opt/software路径中(若路径不存在,则需新建),将Master原创 2024-04-05 17:17:48 · 961 阅读 · 0 评论 -
2024年贵州省职业院校技能大赛高职组“大数据应用开发“赛题第04套
背景描述大数据时代背景下,电商经营模式发生很大改变。在传统运营模式中,缺乏数据积累,人们在做出一些决策行为过程中,更多是凭借个人经验和直觉,发展路径比较自我封闭。而大数据时代,为人们提供一种全新的思路,通过大量的数据分析得出的结果将更加现实和准确。商家可以对客户的消费行为信息数据进行收集和整理,比如消费者购买产品的花费、选择产品的渠道、偏好产品的类型、产品回购周期、购买产品的目的、消费者家庭背景、工作和生活环境、个人消费观和价值观等。通过数据追踪,知道顾客从哪儿来,是看了某网站投放的广告还是通过朋友推荐链原创 2024-04-05 17:03:14 · 953 阅读 · 0 评论 -
2024年贵州省职业院校技能大赛高职组“大数据应用开发“赛题第03套
背景描述大数据时代背景下,电商经营模式发生很大改变。在传统运营模式中,缺乏数据积累,人们在做出一些决策行为过程中,更多是凭借个人经验和直觉,发展路径比较自我封闭。而大数据时代,为人们提供一种全新的思路,通过大量的数据分析得出的结果将更加现实和准确。商家可以对客户的消费行为信息数据进行收集和整理,比如消费者购买产品的花费、选择产品的渠道、偏好产品的类型、产品回购周期、购买产品的目的、消费者家庭背景、工作和生活环境、个人消费观和价值观等。通过数据追踪,知道顾客从哪儿来,是看了某网站投放的广告还是通过朋友推荐链原创 2024-04-05 16:59:20 · 629 阅读 · 0 评论 -
2024年贵州省职业院校技能大赛“大数据应用开发“赛题②
背景描述大数据时代背景下,电商经营模式发生很大改变。在传统运营模式中,缺乏数据积累,人们在做出一些决策行为过程中,更多是凭借个人经验和直觉,发展路径比较自我封闭。而大数据时代,为人们提供一种全新的思路,通过大量的数据分析得出的结果将更加现实和准确。商家可以对客户的消费行为信息数据进行收集和整理,比如消费者购买产品的花费、选择产品的渠道、偏好产品的类型、产品回购周期、购买产品的目的、消费者家庭背景、工作和生活环境、个人消费观和价值观等。通过数据追踪,知道顾客从哪儿来,是看了某网站投放的广告还是通过朋友推荐链原创 2024-04-03 20:55:39 · 538 阅读 · 0 评论 -
2024年贵州省职业院校技能大赛“大数据应用开发“赛题第01套
背景描述大数据时代背景下,电商经营模式发生很大改变。在传统运营模式中,缺乏数据积累,人们在做出一些决策行为过程中,更多是凭借个人经验和直觉,发展路径比较自我封闭。而大数据时代,为人们提供一种全新的思路,通过大量的数据分析得出的结果将更加现实和准确。商家可以对客户的消费行为信息数据进行收集和整理,比如消费者购买产品的花费、选择产品的渠道、偏好产品的类型、产品回购周期、购买产品的目的、消费者家庭背景、工作和生活环境、个人消费观和价值观等。通过数据追踪,知道顾客从哪儿来,是看了某网站投放的广告还是通过朋友推荐链原创 2024-03-16 16:42:12 · 788 阅读 · 0 评论 -
2024年河北省职业院校技能大赛(高职组)“大数据应用开发”样题
背景描述大数据时代背景下,电商经营模式发生很大改变。在传统运营模式中,缺乏数据积累,人们在做出一些决策行为过程中,更多是凭借个人经验和直觉,发展路径比较自我封闭。而大数据时代,为人们提供一种全新的思路,通过大量的数据分析得出的结果将更加现实和准 确。商家可以对客户的消费行为信息数据进行收集和整理,比如消费 者购买产品的花费、选择产品的渠道、偏好产品的类型、产品回购周期、购买产品的目的、消费者家庭背景、工作和生活环境、个人消费观和价值观等。原创 2024-03-16 16:13:22 · 1150 阅读 · 0 评论 -
2024年贵州省职业院校技能大赛 高职组“大数据应用开发”竞赛样题
大数据时代背景下,电商经营模式发生很大改变。在传统运营模 式中,缺乏数据积累,人们在做出一些决策行为过程中,更多是凭借 个人经验和直觉,发展路径比较自我封闭。而大数据时代,为人们提 供一种全新的思路,通过大量的数据分析得出的结果将更加现实和准 确。商家可以对客户的消费行为信息数据进行收集和整理,比如消费 者购买产品的花费、选择产品的渠道、偏好产品的类型、产品回购周 期、购买产品的目的、消费者家庭背景、工作和生活环境、个人消费 观和价值观等。通过数据追踪,知道顾客从哪儿来,是看了某网站投 放的广告还是通过朋友原创 2024-03-10 22:51:23 · 652 阅读 · 0 评论 -
2023年全国职业院校技能大赛大数据应用开发赛题第06套
大数据时代背景下,电商经营模式发生很大改变。在传统运营模式中,缺乏数据积累,人们在做出一些决策行为过程中,更多是凭借个人经验和直觉,发展路径比较自我封闭。而大数据时代,为人们提供一种全新的思路,通过大量的数据分析得出的结果将更加现实和准确。商家可以对客户的消费行为信息数据进行收集和整理,比如消费者购买产品的花费、选择产品的渠道、偏好产品的类型、产品回购周期、购买产品的目的、消费者家庭背景、工作和生活环境、个人消费观和价值观等。通过数据追踪,知道顾客从哪儿来,是看了某网站投放的广告还是通过朋友推荐链接,是新访原创 2024-02-13 14:07:55 · 859 阅读 · 0 评论 -
2023年全国职业院校技能大赛大数据应用开发赛题第05套
工业互联网是工业全要素、全产业链、全价值链的全面连接,是人、机、物、工厂互联互通的新型工业生产制造服务体系,是互联网从消费领域向生产领域、从虚拟经济向实体经济拓展的核心载体,是建设现代化经济体系、实现高质量发展和塑造全球产业竞争力的关键支撑,工业大数据则是工业互联网实现工业要素互联之后的核心价值创造者。随着大数据行业的发展,工业数据收集呈现时间维度不断延长、数据范围不断扩大、数据粒度不断细化的趋势。以上三个维度的变化使得企业所积累的数据量以加速度的方式在增加,最终构成了工业大数据的集合。原创 2024-02-11 13:35:34 · 868 阅读 · 0 评论 -
2023年全国职业院校技能大赛大数据应用开发赛题第04套
编写Vue工程代码,根据接口,用折柱混合图展示设备日均产量(四舍五入保留两位小数)和所在车间日均产量(四舍五入保留两位小数),其中柱状图展示各设备的日均产量,折线图展示该设备所在车间的日均产量,同时将用于图表展示的数据结构在浏览器的console中进行打印输出,将图表可视化结果和浏览器console打印结果分别截图并粘贴至客户端桌面【Release\任务E提交结果.docx】中对应的任务序号下。原创 2024-02-11 13:33:46 · 670 阅读 · 0 评论 -
2023年全国职业院校技能大赛大数据应用开发赛题第03套
抽取shtd_store库中order_info的增量数据进入Hive的ods库中表order_info,根据ods.order_info表中operate_time或create_time作为增量字段(即MySQL中每条数据取这两个时间中较大的那个时间作为增量字段去和ods里的这两个字段中较大的时间进行比较),只将新增的数据抽入,字段名称、类型不变,同时添加静态分区,分区字段为etl_date,类型为String,且值为当前比赛日的前一天日期(分区字段格式为yyyyMMdd)。原创 2024-02-10 16:56:22 · 953 阅读 · 0 评论 -
2023年全国职业院校技能大赛大数据应用开发赛题第02套
根据ods_ds_hudi.user_info表中operate_time或create_time作为增量字段(即MySQL中每条数据取这两个时间中较大的那个时间作为增量字段去和ods里的这两个字段中较大的时间进行比较),只将新增的数据抽入,字段名称、类型不变,同时添加分区,若operate_time为空,则用create_time填充,分区字段为etl_date,类型为String,且值为当前比赛日的前一天日期(分区字段格式为yyyyMMdd)。大数据时代背景下,电商经营模式发生很大改变。原创 2024-02-10 16:54:31 · 786 阅读 · 0 评论 -
2023年全国职业院校技能大赛大数据应用开发赛题第01套
背景描述大数据时代背景下,电商经营模式发生很大改变。在传统运营模式中,缺乏数据积累,人们在做出一些决策行为过程中,更多是凭借个人经验和直觉,发展路径比较自我封闭。而大数据时代,为人们提供一种全新的思路,通过大量的数据分析得出的结果将更加现实和准确。商家可以对客户的消费行为信息数据进行收集和整理,比如消费者购买产品的花费、选择产品的渠道、偏好产品的类型、产品回购周期、购买产品的目的、消费者家庭背景、工作和生活环境、个人消费观和价值观等。通过数据追踪,知道顾客从哪儿来,是看了某网站投放的广告还是通过朋友推荐链接原创 2024-02-08 21:02:14 · 812 阅读 · 0 评论 -
2023年全国职业院校技能大赛高职组“大数据应用开发“正式赛题评分标准
从Hudi的ods_ds_hudi到dwd_ds_hudi的进行base_region表的数据合并清洗。从Hudi的ods_ds_hudi到dwd_ds_hudi的进行order_detail表的数据抽取。从Hudi的ods_ds_hudi到dwd_ds_hudi的进行user_info表的数据合并清洗。从Hudi的ods_ds_hudi到dwd_ds_hudi的进行sku_info表的数据合并清洗。从Hudi的ods_ds_hudi到dwd_ds_hudi的进行order_info表的数据抽取。原创 2024-02-03 13:44:52 · 619 阅读 · 0 评论 -
2023年全国职业院校技能大赛高职组“大数据应用开发” 正式赛题
根据ods_ds_hudi.user_info表中operate_time或create_time作为增量字段(即MySQL中每条数据取这两个时间中较大的那个时间作为增量字段去和ods_ds_hudi里的这两个字段中较大的时间进行比较),只将新增的数据抽入,字段名称、类型不变,同时添加分区,若operate_time为空,则用create_time填充,分区字段为etl_date,类型为String,且值为当前比赛日的前一天日期(分区字段格式为yyyyMMdd)。原创 2024-02-03 13:43:11 · 996 阅读 · 0 评论 -
2023年河北省职业院校技能大赛高职组“大数据技术与应用”赛卷⑤
通过数据追踪,知道顾客从哪儿来,是看了某网站投放的广告还是通过朋友推荐链接,是新访客还是老用户,喜欢浏览什么产品,购物车有无商品,是否清空,还有每一笔交易记录,精准锁定一定年龄、收入、对产品有兴趣的顾客,对顾客进行分组、标签化,通过不同标签组合运用,获得不同目标群体,以此开展精准推送。------------------------推荐Top5结果如下-------------------------------user_id_mapping与sku_id_mapping数据前5条如下:-------原创 2024-02-01 16:03:38 · 830 阅读 · 0 评论 -
2023年河北省职业院校技能大赛高职组“大数据技术与应用”赛卷④
通过数据追踪,知道顾客从哪儿来,是看了某网站投放的广告还是通过朋友推荐链接,是新访客还是老用户,喜欢浏览什么产品,购物车有无商品,是否清空,还有每一笔交易记录,精准锁定一定年龄、收入、对产品有兴趣的顾客,对顾客进行分组、标签化,通过不同标签组合运用,获得不同目标群体,以此开展精准推送。------------------------推荐Top5结果如下-------------------------------user_id_mapping与sku_id_mapping数据前5条如下:-------原创 2024-02-01 16:02:10 · 806 阅读 · 0 评论 -
2023年河北省职业院校技能大赛高职组“大数据技术与应用”赛卷③
抽取shtd_store库中order_info的增量数据进入Hive的ods库中表order_info,根据ods.order_info表中operate_time或create_time作为增量字段(即MySQL中每条数据取这两个时间中较大的那个时间作为增量字段去和ods里的这两个字段中较大的时间进行比较),只将新增的数据抽入,字段名称、类型不变,同时添加静态分区,分区字段类型为String,且值为当前比赛日的前一天日期(分区字段格式为yyyyMMdd)。这种推荐策略对业务的发展会起到什么样的作用?原创 2024-02-01 15:59:28 · 857 阅读 · 0 评论 -
2023年河北省职业院校技能大赛高职组“大数据技术与应用”赛卷②
抽取shtd_store库中order_info的增量数据进入Hive的ods库中表order_info,根据ods.order_info表中operate_time或create_time作为增量字段(即MySQL中每条数据取这两个时间中较大的那个时间作为增量字段去和ods里的这两个字段中较大的时间进行比较),只将新增的数据抽入,字段名称、类型不变,同时添加静态分区,分区字段类型为String,且值为当前比赛日的前一天日期(分区字段格式为yyyyMMdd)。这种推荐策略对业务的发展会起到什么样的作用?原创 2024-02-01 15:57:49 · 746 阅读 · 0 评论 -
2023年河北省职业院校技能大赛高职组“大数据技术与应用”赛卷①
大数据时代背景下,电商经营模式发生很大改变。在传统运营模式中,缺乏数据积累,人们在做出一些决策行为过程中,更多是凭借个人经验和直觉,发展路径比较自我封闭。而大数据时代,为人们提供一种全新的思路,通过大量的数据分析得出的结果将更加现实和准确。商家可以对客户的消费行为信息数据进行收集和整理,比如消费者购买产品的花费、选择产品的渠道、偏好产品的类型、产品回购周期、购买产品的目的、消费者家庭背景、工作和生活环境、个人消费观和价值观等。通过数据追踪,知道顾客从哪儿来,是看了某网站投放的广告还是通过朋友推荐链接,是新访原创 2024-02-01 15:43:41 · 895 阅读 · 0 评论