高职大数据赛项增量数据抽取

最新推荐文章于 2024-05-14 11:08:54 发布

逍遥哥哥每天都要努力啊

最新推荐文章于 2024-05-14 11:08:54 发布

阅读量2k

点赞数

分类专栏：高职大数据竞赛文章标签： hive hadoop 大数据

本文链接：https://blog.csdn.net/qq_54737884/article/details/128709889

版权

任务二：增量数据抽取

编写 Scala 工程代码，将 MySQL 的 shtd_store 库中表 ORDERS、LINEITEM 增量抽取到 Hive 的 ods 库中对应表 ORDERS，LINEITEM 中。 1、抽取 shtd_store 库中 ORDERS 的增量数据进入 Hive 的 ods 库中表 orders，要求只取 1997 年 12 月 1 号及之后的数据（包括 1997 年 12 月 1 号），根据 ORDERS 表中 ORDERKEY 作为增量字段（提示：对比 MySQL 和 Hive 中的表的 ORDERKEY 大小），只将新增的数据抽入，字段类型不变，同时添加动态分区，分区字段类型为 String，且值为 ORDERDATE 字段的内容（ORDERDATE 的格式为 yyyy-MM-dd，分区字段格式为 yyyyMMdd）。并在 hive cli 执行 select count(distinct(dealdate)) from ods.orders 命令，将结果截图复制粘贴至客户端桌面【Release\模块 B 提交结果.docx】中对应的任务序号下；

package pra.store

import java.util.Properties

import org.apache.spark.sql.SparkSession

/**
  * @description: TODO 
  * @author 逍遥哥哥每天都要努力啊
  * @date 2022/10/17 15:36
  * @version 1.0
  */
object mysql_to_hive3 {
  def main(args: Array[String]): Unit = {
    System.setProperty("H