技能职业大赛-大数据数据清洗

将ods库中order_master表昨天的分区（任务一生成的分区）数据抽取到dwd库中fact_order_master的动态分区表，分区字段为etl_date，类型为String，取create_time值并将格式转换为yyyyMMdd， 并添加dwd_insert_user、dwd_insert_time、dwd_modify_user、dwd_modify_time四列，其中dwd_insert_user、dwd_modify_user均填写“user1”，dwd_insert_time、dwd_modify_time均填写当前操作时间， 并进行数据类型转换，需要过滤掉city字段长度大于8。使用hive cli执行show partitions dwd.fact_order_info命令；

编写运行代码块

package moniceshi

import org.apache.spark.sql.SparkSession
import org.apache.spark.sql.functions.{current_timestamp, date_format, date_trunc, lit}

object test3_qx {
  def main(args: Array[String]): Unit = {
    val spark = SparkSession.builder()