2023大数据技能竞赛模块B数据抽取Task1_3(电商)

xfcloud

已于 2024-01-19 22:23:55 修改

阅读量490

点赞数 9

分类专栏：大数据技能竞赛文章标签：大数据

于 2024-01-06 23:04:51 首次发布

本文链接：https://blog.csdn.net/weixin_62687791/article/details/135362794

版权

大数据技能竞赛专栏收录该内容

18 篇文章 3 订阅

订阅专栏

本文介绍了如何使用Scala和Spark从MySQL的shtd_store库中抽取base_province表的增量数据到Hive的ods库，包括添加新字段create_time、分区etl_date，并展示如何执行showpartitions操作。

摘要由CSDN通过智能技术生成

任务一

编写Scala代码，使用Spark将MySQL的shtd_store库中表user_info、sku_info、base_province、base_region、order_info、order_detail的数据增量抽取到Hive的ods库中对应表user_info、sku_info、base_province、base_region、order_info、order_detail中。(若ods库中部分表没有数据，正常抽取即可)

第三题：

抽取shtd_store库中base_province的增量数据进入Hive的ods库中表base_province。根据ods.base_province表中id作为增量字段，只将新增的数据抽入，字段名称、类型不变并添加字段create_time取当前时间，同时添加静态分区，分区字段为etl_date，类型为String，且值为当前比赛日的前一天日期（分区字段格式为yyyyMMdd）。使用hive cli执行show partitions ods.base_province命令，将结果截图粘贴至客户端桌面【Release\任务B提交结果.docx】中对应的任务序号下；

下面代码运行前需要去hive里面添加一个字段create_time

ALTER TABLE ods.base_province ADD COLUMNS (create_time STRING);

代码实现：

package ModuleB.Task1

import org.apache.spark.SparkConf
import org.apache.spark.sql.SparkSession
import org.apache.spark.sql.functions._

object Task1_3 {
  def main(args: Array[String]): Unit = {
    // 设置 Spark 应用的配置
    val conf = new SparkConf().setAppName("Task1_3").setMaster("local[*]")
    // 创建 SparkSession
    val spark = SparkSession.builder().config(conf).enableHiveSupport().getOrCreate()
    // 设置 Hive 执行的动态分区模式
    spark.conf.set("hive.exec.dynamic.partition.mode", "nonstrict")
    // 设置 SparkContext 的日志级别
    spark.sparkContext.setLogLevel("OFF")

    // 通过 JDBC 读取 MySQL 中的数据
    val mysqldf = spark.read.format("jdbc")
      .option("driver", "com.mysql.jdbc.Driver")
      .option("url", "jdbc:mysql://master:3306/shtd_store")
      .option("user", "root")
      .option("password", "123456")
      .option("dbtable", "base_province")
      .load()


    // 创建 Hive 中的临时表 ods
    spark.sql("select * from ods.base_province").createOrReplaceTempView("ods")
    // 创建 MySQL 中的临时表 mysql
    mysqldf.createOrReplaceTempView("mysql")

    // 使用 mysql SQL 语句，筛选增量数据并存储在 DataFrame df1 中
    val df1 = spark.sql(
      """
        |select * from
        |mysql
        |where
        |mysql.id not in (select id from ods)
        |""".stripMargin)
    df1.show()

    // 获取昨天的日期
    val etlDate = java.time.LocalDate.now().minusDays(1).format(java.time.format.DateTimeFormatter.ofPattern("yyyyMMdd"))

    // 添加 etl_date 列，表示数据抽取日期
    val df2 = df1.withColumn("etl_date", lit(etlDate))
      // 添加 create_time 列，表示数据创建时间
      .withColumn("create_time", date_format(current_timestamp(), "yyyyMMdd"))

    // 将增量数据写入 Hive 表 ods.base_province，以 etl_date 列进行分区
    df2.write.format("hive").mode("append").partitionBy("etl_date").saveAsTable("ods.base_province")

    // 打印 Hive 表 ods.base_province 的分区信息
    spark.sql("show partitions ods.base_province").show()
    spark.stop()
  }
}

以上代码如有错误，请各位大佬指正