任务一:数据清洗
编写 Scala 工程代码,将 ods 库中表 customer,nation,region,supplier 全量抽取到 Hive 的 dwd 库中对应表中。表中有涉及到 timestamp 类型的,均要 求按照 yyyy-MM-dd HH:mm:ss,不记录毫秒数,若原数据中只有年月日,则在时 分秒的位置添加 00:00:00,添加之后使其符合 yyyy-MM-dd HH:mm:ss。 1、 将 ods 库中 customer 表数据抽取到 dwd 库中 dim_customer 的分区表,分区 字段为 etldate 且值与 ods 库的相对应表该值相等,并添加 dwd_insert_user、 dwd_insert_time 、 dwd_modify_user 、 dwd_modify_time 四 列 , 其 中 dwd_insert_user、dwd_modify_user 均填写“user1”,dwd_insert_time、 dwd_modify_time 均填写当前操作时间(年月日必须是今天,时分秒只需在 比赛时间范围内即可),并进行数据类型转换。在 hive cli 中按照 cust_key 顺序排序,查询 dim_customer 前 1 条数据,将结果内容复制粘贴至客户端 桌面【Release\模块 C 提交结果.docx】中对应的任务序号下
System.setProperty("HADOOP_USER_NAME", "root")
val spark = SparkSession
.builder()
.master("local[*]")
.appName("dwd")
.config("spark.sql.war