【大数据入门核心技术-Iceberg】（四）Iceberg与Spark整合

最新推荐文章于 2024-10-18 10:30:38 发布
最新推荐文章于 2024-10-18 10:30:38 发布
阅读量432 收藏
点赞数
分类专栏： 大数据技术入门到21天通关 文章标签： 大数据 spark 分布式 iceberg hudi 数据糊 数据湖
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/forest_long/article/details/133889701
版权
本文介绍了如何将Apache Iceberg与Spark进行整合，包括下载部署Iceberg Spark运行时库，配置Hive和Hadoop Catalog，以及如何进行SQL操作创建表。文章详细阐述了配置步骤，并提及了Iceberg表的元数据管理和原子性更新特性。
摘要由CSDN通过智能技术生成

一、下载部署


wget https://search.maven.org/remotecontent?filepath=org/apache/iceberg/iceberg-spark-runtime-3.2_2.12/1.1.0/iceberg-spark-runtime-3.2_2.12-1.1.0.jar

cp iceberg-spark-runtime-3.2_2.12-1.1.0.jar /data/bigdata/spark-3.2.1/jars/

二、Spark 配置 Catalog


Spark中支持两种Catalog的设置：hive和hadoop，Hive Catalog就是Iceberg表存储使用Hive默认的数据路径，Hadoop Catalog需要指定Iceberg格式表存储路径。

vim spark-defaults.conf
1）Hive Catalog
spark.sql.catalog.hive_prod = org.apache.iceberg.spark.SparkCatalog
spark.sql.catalog.hive_prod.type = hive
spark.sql.catalog.hive_prod.uri = thrift://hadoop101:9083

2）Hadoop Catalog
spark.sql.catalog.hadoop_prod = org.apache.iceberg.spark.S

了解本专栏 订阅专栏 解锁全文 超级会员免费看
forest_long
关注
专栏目录
订阅专栏
【大数据入门核心技术-Iceberg】（二）Iceberg与Hive整合
10-16 303
重启hadoop 、yarn 、hiveserver2。2、修改hive-site.xml。Iceberg提供一个开放通用的表格式（Table Format）实现方案，不和特定的数据存储、计算引擎绑定。目前大数据领域的常见数据存储（HDFS、S3...），计算引擎（Flink、Spark...）都可以接入Iceberg。 在生产环境中，可选择不同的组件搭使用。甚至可以不通过计算引擎，直接读取存在文件系统上的数据.Iceberg提供一个开放通用的表格式（Table Format）实现方案，不和特
【大数据入门核心技术】学习导读列表--建议收藏
12-03 1749
本专栏主要为博主总结大数据生态内容，包括Hadoop、Hive、Hbase、Impala、Sqoop、Spark、Flink、Kafka、ElasticSearch、Ambari等最具价值的大数据相关技术。【大数据入门核心技术-基本概念】（一）大数据相关基本概念【大数据入门核心技术-基本概念】（二）大数据行业生态【大数据入门核心技术-基本概念】（三）大数据应用领域和行业【大数据入门核心技术-Zookeeper】
Apache Iceberg安装与配置完全指南
最新发布
gitblog_01279的博客
10-18 858
Apache Iceberg安装与配置完全指南 iceberg Apache Iceberg 项目地址: https://gitcode.com/gh_mirrors/iceberg4/iceberg ...
数据湖之 Flink Spark 集成 iceberg
weixin_50213935的博客
07-08 1444
数据湖之 Flink Spark 集成 iceberg一、iceberg优点二、安装部署三、iceberg集成flink四、hive查询iceberg表五、spark集成iceberg表 一、iceberg优点 提供ACID事物，上游数据写入即可见，提供了 upsert、merge into 能力 支持计算引擎有 Spark、Flink、Presto 以及 Hive 支持 Parquet、Avro 以及 ORC 等存储格式 增量读取处理能力：支持通过流式方式读取增量数据，支持 Structed Strea
Apache Iceberg 与 Spark整合-使用教程（Iceberg 官方文档解析）
喻师傅的学习笔记
09-26 1296
spark & iceberg
Iceberg从入门到精通系列之二十一：Spark集成Iceberg
zhengzaifeidelushang的博客
02-01 2071
Spark 支持通过指定catalog-impl 属性来加载自定义Iceberg Catalog 实现。
数据湖Iceberg-简介(1)
jast
04-24 554
为了解决数据存储和计算引擎之间的适配的问题，Netflix开发了Iceberg，2018年11月16日进入Apache孵化器，2020 年5月19日从孵化器毕业，成为Apache的顶级项目。Iceberg是一个面向海量数据分析场景的开放表格式（Table Format）。表格式（Table Format）可以理解为元数据以及数据文件的一种组织方式，处于计算框架（Flink，Spark…）之下，数据文件之上。
Iceberg集成Spark
互联网知识分享
08-16 358
中的数据表采用了一种基于时间的分层存储结构，以便更高效地支持增量数据写入和查询。中，写入操作是原子的，并且是幂等的。通过创建快照，可以在不中断正在进行的查询的同时进行数据写入操作。中，数据表是一种逻辑上的概念，它是由一组数据文件和一组元数据文件组成的。数据文件包含了实际的数据内容，而元数据文件则用于记录整个数据表的结构和统计信息。是一个开源的数据表管理库，它是为了更好地处理大规模数据和分布式计算而设计的。提供了强大的数据表管理功能，包括元数据管理、事务支持和灵活的查询操作。支持更新数据表中的数据。
Iceberg从入门到精通系列之十五：Spark集成Iceberg
zhengzaifeidelushang的博客
07-02 1024
Hive Catalog就是Iceberg表存储使用Hive默认的数据路径，Hadoop Catalog需要指定Iceberg格式表存储路径。复制hive配置文件到Iceberg的目录下。spark-env.sh中添加hive配置。
大数据知识仓库涉及到数据仓库建模、实时计算、大数据、数据中台、系统设计、Java、算法等代码
03-28
IceBerg整合Spark 4、存储相关，包含rocksdb、Hbase、BookKeeper、Zookeeper等 5、Hadoop生态圈的学习笔记，主要记录HDFS、MapReduce、Yarn相关读书笔记及源码分析等 5.1 HDFS Hadoop快速入门 HDFSOverView Hadoop...
国产开源优秀新一代MPP数据库StarRocks入门之旅-数仓新利器（上）
weixin_45566993的博客
05-13 1133
🚀 优质资源分享 🚀 学习路线指引（点击解锁） 知识定位 人群定位 🧡 Python实战微信订餐小程序 🧡 进阶级 本课程是python flask+微信小程序的完美结合，从项目搭建到腾讯云部署上线，打造一个全栈订餐系统。 💛Python量化交易实战💛 入门级 手把手带你打造一个易扩展、更安全、效率更高的量化交易系统 概述 背景 Apache Doris官方地址 https://doris.apache.org/ Apache Doris GitHub源码地址 https://gi
数据湖（十二）：Spark3.1.2与Iceberg0.12.1整合
Lansonli（蓝深李）的博客
07-02 2762
文章目录Spark3.1.2与Iceberg0.12.1整合一、​​​​​​​向pom文件导入依赖二、SparkSQL设置catalog配置三、使用Hive Catalog管理Iceberg表1、创建表2、插入数据3、查询数据4、删除表四、用Hadoop Catalog管理Iceberg表1、创建表2、插入数据3、查询数据4、创建对应的Hive表映射数据5、删除表Spark可以操作Iceberg数据湖，这里使用的Iceberg的版本为0.12.1，此版本与Spark2.4版本之上兼容。由于在Spark2.4
【Iceberg分析】Spark集成Iceberg采集输出
coding and writing
10-07 769
Spark集成Iceberg采集输出验证
数据湖（十五）：Spark与Iceberg整合写操作
Lansonli（蓝深李）的博客
07-07 1633
文章目录Spark与Iceberg整合写操作一、​​​​​​​INSERT INTO二、MERGE INTO1、首先创建a表和b表，并插入数据2、使用MERGE INTO 语法向目标表更新、删除、新增数据3、​​​​​​​​​​​​​​INSERT OVERWRITE四、DELETE FROM五、​​​​​​​​​​​​​​UPDATE六、DataFrame API 写入Iceberg表"insert into"是向Iceberg表中插入数据，有两种语法形式："INSERT INTO tbl VALUES
数据湖（十四）：Spark与Iceberg整合查询操作
Lansonli（蓝深李）的博客
07-05 1812
文章目录Spark与Iceberg整合查询操作一、DataFrame API加载Iceberg中的数据二、查询表快照三、查询表历史 四、​​​​​​​​​​​​​​查询表data files五、​​​​​​​​​​​​​​查询Manifests六、​​​​​​​​​​​​​​查询指定快照数据七、根据时间戳查询数据八、​​​​​​​​​​​​​​回滚快照九、​​​​​​​​​​​​​​合并Iceberg表的数据文件十、删除历史快照Spark操作Iceberg不仅可以使用SQL方式查询Iceberg中的数据，还
数据湖之iceberg系列(五)-Spark实时处理数据
HANG.NIAN
12-05 1814
1 接收网络数据 将数据实时写入到iceberg表中 开启nc 服务用于模拟数据输出 nc -lk 9999 2 spark实时读取数据将数据写入到iceberg表中 // 获取spark对象 val spark = SparkSession.builder() .config("spark.sql.catalog.hadoop_prod.type", "hadoop") // 设置数据源类别为hadoop .config("spark.sql.cat.
实践数据湖iceberg 第十五课 spark3安装与集成iceberg0.13 (jersey包冲突，安装完成)
spark_dev的博客
02-13 2746
系列文章目录 实践数据湖iceberg 第一课 入门 实践数据湖iceberg 第二课 iceberg基于hadoop的底层数据格式 实践数据湖iceberg 第三课 在sqlclient中，以sql方式从kafka读数据到iceberg 实践数据湖iceberg 第四课 在sqlclient中，以sql方式从kafka读数据到iceberg（升级版本到flink1.12.7） 实践数据湖iceberg 第五课 hive catalog特点 实践数据湖iceberg 第六课 从kafka写入到iceber
Spark + iceberg
mhbsoft的博客
10-27 1966
由于spark版本问题，所以使用 iceberg-api操作创建表。 IcebergApi .java package org.example; import org.apache.hadoop.conf.Configuration; import org.apache.iceberg.Schema; import org.apache.iceberg.Table; import org.apache.iceberg.catalog.Catalog; import org.apache.iceberg..
spark写iceberg
genhaoyou的博客
05-31 329
MERGE INTO prod.db.target t -- a target table USING (SELECT ...) s -- the source updates ON t.id = s.id -- condition to find updates for target rows WHEN ... -- updates WHEN MATCHED AND s.op = 'delete' THEN .
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

forest_long

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值