大数据技能大赛答案

大数据技能大赛答案

所有模块都有，不是白嫖！！有需要可以联系我，直接私信我看价格
所有模块都有，不是白嫖！！有需要可以联系我，直接私信我看价格
所有模块都有，不是白嫖！！有需要可以联系我，直接私信我看价格
V: bigdata12

任务C：数据挖掘（10分）

环境说明：

服务端登录地址详见各任务服务端说明。
补充说明：各节点可通过Asbru工具或SSH客户端进行SSH访问；
主节点MySQL数据库用户名/密码：root/123456（已配置远程连接）；
Spark任务在Yarn上用Client运行，方便观察日志。
该任务均使用Scala编写，利用Spark相关库完成。

子任务一：特征工程

剔除订单信息表与订单详细信息表中用户id与商品id不存在于现有的维表中的记录，同时建议多利用缓存并充分考虑并行度来优化代码，达到更快的计算效果。
1、据Hudi的dwd_ds_hudi库中相关表或MySQL数据库shtd_store中订单相关表（order_detail、order_info、sku_info），对用户购买过的商品进行去重，将其转换为以下格式：第一列为用户id mapping，第二列为用户购买过的商品id mapping，按照user_id与sk