学习记录十三

文章描述了一个使用Scala编程语言执行数据清洗的任务,将ods库中的customer表数据抽取到Hive的dwd库中dim_customer分区表,并处理timestamp类型字段,确保格式为yyyy-MM-ddHH:mm:ss。同时,新增了四列并填充默认值,最后在HiveCLI中展示了按cust_key排序的前1条数据。
摘要由CSDN通过智能技术生成

任务二:数据清洗\n题目要求: 
编写Scala工程代码,将ods库中相应表数据全量抽取到Hive的dwd库中对应表中。
表中有涉及到timestamp类型的,均要求按照yyyy-MM-dd HH:mm:ss,不记录毫秒数,若原数据中只有年月日,则在时分秒的位置添加00:00:00,添加之后使其符合yyyy-MM-dd HH:mm:ss。
\n\n将ods库中customer表数据抽取到dwd库中dim_customer的分区表,分区字段为etldate且值与ods库的相对应表该值相等,并添加dwd_insert_user、dwd_insert_time、dwd_modify_user、dwd_modify_time四列,其中dwd_insert_user、dwd_modify_user均填写“user1”, 、dwd_modify_time均填写操作时间,并进行数据类型转换。
在hive cli中按照cust_key顺序排序,查询dim_customer前1条数据,将结果内容复制粘贴至对应报告中

收藏笔记链接:

\n\n版权声明:本文为CSDN博主「guo_0423」的原创文章,遵循CC 4.0 BY-SA版权协议,转载请附上原文出处链接及本声明。\n\n原文链接:https://blog.csdn.net/guo_0423/article/details/126312846

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值