![](https://img-blog.csdnimg.cn/6a3193f68e7344f38ea2e981b69f2554.png?x-oss-process=image/resize,m_fixed,h_224,w_224)
Hudi
文章平均质量分 61
数据库系列之HUdi详细笔记和实践
白眼黑刺猬
技术分享 ,线上线下授课
微信 17710299606
展开
-
spark处理数据落地Hudi同步HIVE(01)-分区详解
有的时候我们期望数据是分区的,关于hive的分区详细介绍请连接:hive详细笔记(四)-Hive内部表,外部表,分区表,分桶表详解(附带讲解视频)_JAVA_JAVA-CSDN博客1 落地Hudi同步HIVE表-没有分区package com.doitedu.demoimport org.apache.hudi.DataSourceWriteOptionsimport org.apache.spark.SparkConfimport org.apache.spark.sql.types..原创 2021-10-20 13:56:02 · 1869 阅读 · 0 评论 -
spark处理数据落地Hudi同步HIVE(01)
注意本案是以HDFS离线数据为例1 spark操作hivesparksql读取hive中的数据不需要hive参与 , 读取HDFS中的数据和mysql中的元数据信息即可Sparksql本身就内置了hive功能加载hive的数据,本质上是不需要hive参与的,因为hive的表数据就在hdfs中,hive的表定义信息在mysql中不管数据还是定义,sparksql都可以直接去获取!步骤:要在工程中添加spark-hive的依赖jar 要在工程中添加mysql连接驱动依赖jar..原创 2021-10-20 13:47:47 · 2774 阅读 · 2 评论