![](https://img-blog.csdnimg.cn/20201014180756724.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
iceberg
文章平均质量分 81
黑眼圈@~@
不断的学习只为骄傲的活着。
展开
-
iceberg-Flink1.11.0 测试案例
参考:官网,调研传送门测试使用的Flink1.11.0版本,本文分为SQL和Streaming一、配置及参数1、配置jar包:iceberg0.11.0版本,官网下载jar包,放到spark的lib目录下。注意:因为Flink链接Hive是通过Catalog进行操作的。所以需要提前进行Catalog链接创建。不支持:delete/merge/insert overwrite。仅支持追加。不支持:altert table 操作表。新增/删除/更改列。(如果需要改需使用spark引擎)2、原创 2021-04-06 15:42:16 · 428 阅读 · 0 评论 -
iceberg-Spark3.0 DF/Streaming 测试案例
参考:官网,调研传送门测试使用的Spark3.0版本,iceberg-Spark DF/Streaming 操作分2部分,DF、Streaming一、创建项目:组件版本sbt1.4.2scala2.12.10Spark3.0.0iceberg0.11.0build.sbt文件name := "Iceberg_smzdm"version := "0.1"scalaVersion := "2.12.10"libraryDependencies +原创 2021-04-06 15:21:54 · 470 阅读 · 0 评论 -
iceberg-Spark3.0SQL 测试案例
iceberg-spark3.0 测试案例参考:官网,调研传送门测试使用的Spark3.0版本,iceberg-Spark操作分3部分,SQL、DF、Streaming一、配置及参数1、配置jar包:iceberg0.11.0版本,官网下载jar包,放到spark的jars目录下。点击下载spark2.4和spark3的驱动包。注意:要在Spark中使用Iceberg,请首先配置catalogs(注意:Spark2.4不支持DDL操作)2、注意:1、iceberg命名空间:V1和V2表原创 2021-04-06 15:09:32 · 2432 阅读 · 0 评论 -
iceberg-hive 测试案例
iceberg-hive 测试案例参考:官网,调研传送门蓝瘦香菇,iceberg 太难操作了。真心不如Delta Lake操作的顺利一、配置及须知1、配置jar包:iceberg0.11.0版本,官网下载jar包,放到hive的lib目录下。2、参数:SET engine.hive.enabled=true;SET iceberg.engine.hive.enabled=true;SET iceberg.mr.catalog=hive; //使hive能访问spark下catalog为原创 2021-03-22 11:51:29 · 1562 阅读 · 4 评论 -
iceberg的调研报告
iceberg的调研报告参考:官网iceberg简介Apache Iceberg is an open table format for huge analytic datasets. Iceberg adds tables to Presto and Spark that use a high-performance format that works just like a SQL table.设计初衷是:以类似于SQL的形式高性能的处理大型的开放式表, 联想HIVE工具!其对类似hive作原创 2021-03-15 17:16:01 · 2195 阅读 · 2 评论