iceberg
文章平均质量分 81
黑眼圈@~@
不断的学习只为骄傲的活着。
展开
-
iceberg-Flink1.11.0 测试案例
参考:官网,调研传送门 测试使用的Flink1.11.0版本,本文分为SQL和Streaming 一、配置及参数 1、配置jar包: iceberg0.11.0版本,官网下载jar包,放到spark的lib目录下。 注意: 因为Flink链接Hive是通过Catalog进行操作的。所以需要提前进行Catalog链接创建。 不支持:delete/merge/insert overwrite。仅支持追加。 不支持:altert table 操作表。新增/删除/更改列。(如果需要改需使用spark引擎) 2、原创 2021-04-06 15:42:16 · 411 阅读 · 0 评论 -
iceberg-Spark3.0 DF/Streaming 测试案例
参考:官网,调研传送门 测试使用的Spark3.0版本,iceberg-Spark DF/Streaming 操作分2部分,DF、Streaming 一、创建项目: 组件 版本 sbt 1.4.2 scala 2.12.10 Spark 3.0.0 iceberg 0.11.0 build.sbt文件 name := "Iceberg_smzdm" version := "0.1" scalaVersion := "2.12.10" libraryDependencies +原创 2021-04-06 15:21:54 · 464 阅读 · 0 评论 -
iceberg-Spark3.0SQL 测试案例
iceberg-spark3.0 测试案例 参考:官网,调研传送门 测试使用的Spark3.0版本,iceberg-Spark操作分3部分,SQL、DF、Streaming 一、配置及参数 1、配置jar包: iceberg0.11.0版本,官网下载jar包,放到spark的jars目录下。 点击下载spark2.4和spark3的驱动包。 注意:要在Spark中使用Iceberg,请首先配置catalogs(注意:Spark2.4不支持DDL操作) 2、注意: 1、iceberg命名空间:V1和V2表原创 2021-04-06 15:09:32 · 2397 阅读 · 0 评论 -
iceberg-hive 测试案例
iceberg-hive 测试案例 参考:官网,调研传送门 蓝瘦香菇,iceberg 太难操作了。真心不如Delta Lake操作的顺利 一、配置及须知 1、配置jar包: iceberg0.11.0版本,官网下载jar包,放到hive的lib目录下。 2、参数: SET engine.hive.enabled=true; SET iceberg.engine.hive.enabled=true; SET iceberg.mr.catalog=hive; //使hive能访问spark下catalog为原创 2021-03-22 11:51:29 · 1551 阅读 · 4 评论 -
iceberg的调研报告
iceberg的调研报告 参考:官网 iceberg简介 Apache Iceberg is an open table format for huge analytic datasets. Iceberg adds tables to Presto and Spark that use a high-performance format that works just like a SQL table. 设计初衷是:以类似于SQL的形式高性能的处理大型的开放式表, 联想HIVE工具!其对类似hive作原创 2021-03-15 17:16:01 · 2130 阅读 · 2 评论