- 博客(4)
- 收藏
- 关注
RSS订阅原创 在 Flink 中使用 iceberg
Apache Iceberg 支持Apache Flink的DataStream API 和 Table API 将记录写入 iceberg 的表，当前，我们只提供 iceberg 与 apache flink 1.11.x 的集成支持。Feature supportFlink 1.11.0NotesSQL create catalog✔️SQL create database✔️SQL create table✔️SQL alter tab
2020-11-18 09:10:05
4630
3
原创 Iceberg 表规范
Iceberg 表规范Version 1: 分析数据表Version 2:行级删除GoalsMvcc 和乐观并发文件系统操作这是 Iceberg 表格格式的规范，用于在分布式文件系统或键值存储中，将大型、缓慢变化的文件集作为表来管理。Version 1: 分析数据表Iceberg Version 1是当前版本。 它定义了如何使用不可变的文件格式(如 Parquet、 Avro 和 ORC)来管理大型分析表。Version 2:行级删除Iceberg 社区目前正在开发支持编码行级删除的 Iceber
2020-05-22 21:45:28
1301
1
原创 什么是Iceberg分区
什么是分区？分区是一种通过在写入数据时将相似的行分组来加快查询速度的方法。例如，对日志表中日志条目的查询通常包括一个时间范围，比如这个对上午10点到12点之间日志的查询:SELECT level, message FROM logsWHERE event_time BETWEEN '2018-12-01 10:00:00' AND '2018-12-01 12:00:00'根据event_time 的日期将日志表配置为分区，将日志事件分组到具有相同事件日期的文件中。Iceberg 会跟踪这个日期，
2020-05-20 21:26:29
2371
原创 在Spark中开始一个Iceberg项目
在Spark中开始一个Iceberg项目在 Spark 中使用 IcebergSpark 中安装 Iceberg创建一个表读和写操作使用 SQL 读在 Spark 中使用 Iceberg最新版本是 0.8.0-incubating .要在 Spark shell 中使用 Iceberg，请使用 --parkage 选项:spark-shell --packages org.apache.iceberg:iceberg-spark-runtime:0.8.0-incubating您还可以在本地构建
2020-05-18 00:55:45
3326
3
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人