最新2024大数据技能竞赛模块B数据抽取Task1_1(电商)(1)

任务一

编写Scala代码，使用Spark将MySQL的shtd_store库中表user_info、sku_info、base_province、base_region、order_info、order_detail的数据增量抽取到Hive的ods库中对应表user_info、sku_info、base_province、base_region、order_info、order_detail中。(若ods库中部分表没有数据，正常抽取即可)

第一题

1. 抽取shtd_store库中user_info的增量数据进入Hive的ods库中表user_info。根据ods.user_info表中operate_time或create_time作为增量字段(即MySQL中每条数据取这两个时间中较大的那个时间作为增量字段去和ods里的这两个字段中较大的时间进行比较)，只将新增的数据抽入，字段名称、类型不变，同时添加静态分区，分区字段为etl_date，类型为String，且值为当前比赛日的前一天日期（分区字段格式为yyyyMMdd）。使用hive cli执行show partitions ods.user_info命令，将结果截图粘贴至客户端桌面【Release\任务B提交结果.docx】中对应的任务序号下；

代码实现：

import org.apache.spark.SparkConf
import org.apache.spark.sql.SparkSession
import org.apache.spark.sql.functions._

object Task1_1 {
  def main(args: Array[String]): Unit = {

    // 连接 Spark
    val conf = new SparkConf().setAppName("Task1_1").setMaster("spark://master:7077")
    val spark = SparkSession.builder().config(conf).enableHiveSupport().getOrCreate()
    spark.sparkContext.setLogLevel("OFF")
    spark.conf.set("hive.exec.dynamic.partition.mode", "nonstrict")

    // 连接数据库
    val mysqldf = spark.read.format("jdbc")
      .option("driver", "com.mysql.jdbc.Driver")
      .option("url", "jdbc:mysql://master:3306/shtd_store?useSSL=false")
      .option("user", "root")
      .option("password", "123456")
      .option("dbtable", "user_info").load()
    // 创建临时表
    spark.sql("select * from ods.user_info").createOrReplaceTempView("ods")
    mysqldf.createOrReplaceTempView("user_info")

    // 筛选数据
    val df1 = spark.sql(
      """
        |select
        |a.*
        |from
        |user_info a
        |left join
        |ods b
        |on
        |a.id = b.id
        |where
        |greatest(a.create_time,a.operate_time) > greatest(b.create_time,b.operate_time)
        |or
        |a.id not in (select id from ods)
        |""".stripMargin
    )

    // 获取插入之前的表行数


![img](https://img-blog.csdnimg.cn/img_convert/7c5cfd48c776cd70fd4995897815332d.png)
![img](https://img-blog.csdnimg.cn/img_convert/b9f1642a9aa9b832cf45b452e99df1df.png)

**网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。**

**[需要这份系统化资料的朋友，可以戳这里获取](https://bbs.csdn.net/topics/618545628)**


**一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！**

事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！**