Iceberg
文章平均质量分 54
TracyGao01
保持专注
展开
-
Apache Iceberg 分区表探索与实践
组件版本组件版本Apache Iceberg0.11Apache Hive2.1.0Apache Spark3.0Apache Flink1.11文章目录简介测试分区表功能建表写入数据重写指定分区重写动态分区简介本篇介绍Apache Icerberg分区表自己的一些探索与实践,包括建表、数据写入、重写分区、删除分区、添加分区,数据链路操作设计如下图:备注:创建分区表、修改标属性:使用Hive批量写入数据、重写分区:使用Spark实时计算.原创 2021-09-02 11:33:06 · 1998 阅读 · 2 评论 -
Apache Beeline for Iceberg配置
组件版本:Iceberg:0.11.0Hive Beeline:2.1.0文章目录简介修改配置文件配置Beeline环境变量测试验证简介配置Iceberg on Hive修改配置文件修改hive-site.xml,添加如下配置:<property><name>iceberg.mr.catalog</name><value>hive</value></property><property><.原创 2021-08-23 19:22:16 · 383 阅读 · 0 评论 -
Iceberg:表维护
组件版本:Apache Iceberg:0.11Apache Spark:3.0参考:https://iceberg.apache.org/maintenance/准备工作创建一张Hive表,并实时写入数据,写入过程中,测试表维护的几个功能创建一张Hive表add jar /data/tracy/iceberg-apache-iceberg-0.11.0/hive-runtime/build/libs/iceberg-hive-runtime-0.11.0.jar;SET icebe.原创 2021-07-06 15:36:16 · 895 阅读 · 2 评论