2024年大数据最全2024大数据技能竞赛模块B数据抽取Task1_1(电商)，2024年最新大数据开发编程基础学习

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化资料的朋友，可以戳这里获取

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！

// 连接 Spark
val conf = new SparkConf().setAppName("Task1_1").setMaster("spark://master:7077")
val spark = SparkSession.builder().config(conf).enableHiveSupport().getOrCreate()
spark.sparkContext.setLogLevel("OFF")
spark.conf.set("hive.exec.dynamic.partition.mode", "nonstrict")

// 连接数据库
val mysqldf = spark.read.format("jdbc")
  .option("driver", "com.mysql.jdbc.Driver")
  .option("url", "jdbc:mysql://master:3306/shtd_store?useSSL=false")
  .option("user", "root")
  .option("password", "123456")
  .option("dbtable", "user_info").load()
// 创建临时表
spark.sql("select * from ods.user_info").createOrReplaceTempView("ods")
mysqldf.createOrReplaceTempView("user_info")

// 筛选数据
val df1 = spark.sql(
  """
    |select
    |a.*
    |from
    |user_info a
    |left join
    |ods b
    |on
    |a.id = b.id
    |where
    |greatest(a.create_time,a.operate_time) > greatest(b.create_time,b.operate_time)
    |or
    |a.id not in (select id from ods)
    |""".stripMargin
)

// 获取插入之前的表行数
val rowCountBefore = spark.sql("select count(*) from ods.user_info").first().getLong(0)
val time = java.time.LocalDate.now().minusDays(1).format(java.time.format.DateTimeFormatter.ofPattern("yyyyMMdd"))

// 添加分区
val df2 = df1.withColumn("etl_date", lit(time))

// 插入数据
df2.write.format("hive")
  .mode("append")
  .partitionBy("etl_date")
  .saveAsTable("ods.user_info") // 修改为正确的数据库和表名
println("==========-----写入成功-----==========")

// 获取插入之后的表行数
val rowCountAfter = spark.sql("select count(*) from ods.user_info").first().getLong(0)

println("----------数据展现----------")
df1.show()

// 计算抽取的增量数据量
val incrementCount = rowCountAfter - rowCountBefore
println(s"抽取的增量数据量为: $incrementCount")

spark.sql("show partitions ods.user_info").show()
spark.stop()

}

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化资料的朋友，可以戳这里获取

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！

能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！**