任务二:数据清洗\n题目要求:
编写Scala工程代码,将ods库中相应表数据全量抽取到Hive的dwd库中对应表中。
表中有涉及到timestamp类型的,均要求按照yyyy-MM-dd HH:mm:ss,不记录毫秒数,若原数据中只有年月日,则在时分秒的位置添加00:00:00,添加之后使其符合yyyy-MM-dd HH:mm:ss。
\n\n将ods库中customer表数据抽取到dwd库中dim_customer的分区表,分区字段为etldate且值与ods库的相对应表该值相等,并添加dwd_insert_user、dwd_insert_time、dwd_modify_user、dwd_modify_time四列,其中dwd_insert_user、dwd_modify_user均填写“user1”, 、dwd_modify_time均填写操作时间,并进行数据类型转换。
在hive cli中按照cust_key顺序排序,查询dim_customer前1条数据,将结果内容复制粘贴至对应报告中
收藏笔记链接:
\n\n版权声明:本文为CSDN博主「guo_0423」的原创文章,遵循CC 4.0 BY-SA版权协议,转载请附上原文出处链接及本声明。\n\n原文链接:https://blog.csdn.net/guo_0423/article/details/126312846