hudi
文章平均质量分 69
数据湖hudi
雾岛与鲸
这个作者很懒,什么都没留下…
展开
-
Hudi 操作入门
1、构建环境版本:spark 2.4.5hudi 0.11.0> git clone https://github.com/apache/hudi.git && cd hudi> vim pom.xml> 配置阿里云maven镜像库> mvn clean package -DskipTests -DskipITs2、通过spark-shell快速启动> ./spark-shell --packages org.apache.spark:spa原创 2022-03-03 16:20:33 · 2579 阅读 · 0 评论 -
使用Spark操作Hudi
开发环境:hadoop 2.7.6hive 2.3.7spark 2.4.51、pom文件 <repositories> <repository> <id>maven-ali</id> <url>http://maven.aliyun.com/nexus/content/groups/public//</url> <releases> <enabl原创 2022-03-07 14:28:11 · 3378 阅读 · 0 评论 -
Hudi 集成 Hive
环境:hudi 0.10.1spark 2.4.5hive 2.3.7hadoop 2.7.51、建表并插入数据hudi会自动创建表,也可以提前建表:CREATE EXTERNAL TABLE `member_rt`( `_hoodie_commit_time` string, `_hoodie_commit_seqno` string, `_hoodie_record_key` string, `_hoodie_partition_path` string, `_hood原创 2022-03-07 19:50:37 · 5094 阅读 · 2 评论