Iceberg读写Parquet文件Kerberos认证问题

最新推荐文章于 2024-01-04 20:35:08 发布
最新推荐文章于 2024-01-04 20:35:08 发布
阅读量588 收藏
点赞数 1
文章标签： 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_20834437/article/details/125633988
版权

使用Iceberg管理在带Kerberos认证的HDFS集群的数据时，加载Icerberg table没有任何问题，但是一到读取数据时，就报Kerberos认证问题。随后进行debug，发现使用Parquet读取数据时使用的ParquetFileReader在实例化时将Icerberg的InputFile转成了Parquet的InputFile，这个过程丢失了认证信息，并在后面读取数据时需要重新打开文件。造成了只会在读取Parquet时，会存在Kerberos认证问题。相关源码如下图：

 解决方案显而易见，在读取数据的操作外面需要带上Kerberos认证的信息

 

Lothr
关注
湖仓一体电商项目（二十四）：合并Iceberg小文件
Lansonli（蓝深李）的博客
09-30 1973
随着不断删除snapshot，在Iceberg表不再有manifest文件对应的parquet文件也会被删除。Iceberg表每次commit都会生成一个parquet数据文件，有可能一张Iceberg表对应的数据文件非常多，那么我们通过Java Api 方式对Iceberg表可以进行数据文件合并，数据文件合并之后，会生成新的Snapshot且原有Snap快照数据并不会被删除，如果要删除对应的数据文件需要通过“Expire Snapshots来实现”。每次表提交后是否删除旧的元数据文件。
Spark with Kerberos认证异常问题整理
Christopher_L1n的博客
02-09 2444
Spark with Kerberos认证出现的各种异常，实际开发发现异常提示和问题本质相关性不高，因为认证过程高度封装。因此不记录异常提示，而是记录下排查思路。
iceberg org.apache.iceberg.parquet.Parquet parquet file read
PeersLee的博客
06-03 378
org.apache.iceberg.parquet.Parquet#read public static ReadBuilder read(InputFile file) { return new ReadBuilder(file); }
Apache Iceberg 对推荐应用架构的优化及读写流程解析本文
mojolang
02-08 641
Apache Iceberg应用场景示例： 在之前的文章中相信大家已经对Iceberg有了很多了解，Iceberg具有 ACID，隐式分区，partition evolution等功能。那么这些功能在实际的应用场景中会有什么收益呢？ 我们来看一个大数据应用中比较典型的业务 “广告/信息流推荐服务"。在推荐服务中，业务往往通过join用户的点击、曝光数据来生成正负样本，然后用增量的样本数据比较实时的更新在线模型。在增量样本更新过程中总有延时到达的点击数据因为无法及时join而被当做负样本处理了，所以需要每
Iceberg: 列式读取Parquet数据
Dreamming Time的博客
01-04 637
BaseBatchReader支持以Batch + Vectorized的特性，读取底层的文件。
elasticsearch 实现基于spark的kerberos认证
coreych的专栏
03-02 1895
elasticsearch 实现基于spark的kerberos认证
尚硅谷大数据技术之数据湖Iceberg-1.1.0.docx
最新发布
03-06
- **定义**：Iceberg 是一种针对海量数据分析设计的开放表格式(Table Format)，它位于计算框架（如 Flink、Spark 等）之下，数据文件之上，是一种元数据及数据文件的组织方式。 #### 1.2 冰山（Iceberg）特性详解 ...
iceberg0.12.1
07-01
Iceberg 的设计目标是解决传统数据湖中的问题，如元数据管理、数据版本控制和查询效率。在 `iceberg0.12.1` 版本中，我们将会探讨这个版本包含的关键特性和改进。 首先，让我们深入了解 Apache Iceberg 的核心概念...
Iceberg 合并小文件并删除历史(Flink)
热门推荐
17611119847
10-14 3万+
Iceberg 合并小文件并删除历史(Flink) Iceberg每一次操作都会产生多个数据文件(metadata、data、snapshot)，需要自行合并清理。 详细Iceberg写入时文件变化请参考官网https://iceberg.apache.org/ 建表时新增with配置# iceberg使用代码合并小文件后如果不开启此配置，历史文件同样不会删除，开启后就会实现合并后清除历史文件(历史文件保留最大值为5，metadata和data里面文件数则始终保持为6个) # 启用提交后写入元数据
iceberg读写常见报错
yiweiyi329的博客
12-20 2366
flink写iceberg报错 场景：flink sink iceberg时，使用equalityFieldColumns指定字段时，报错如下： java.lang.IllegalArgumentException: Cannot write delete files in a v1 table at org.apache.iceberg.ManifestFiles.writeDeleteManifest(ManifestFiles.java:154) at org.apache.iceberg.Sna
Spark2.4.0 访问hive(集成kerberos)（scala）
dfdf123123的博客
09-12 1545
Spark2.4.0（scala） 1.kerberso 认证（需要将相应用户的keytab文件引入本地） 代码如下： class KerberosAuth1 { def kerberosAuth(debug: Boolean): Unit = { try { System.setProperty("java.security.krb5.conf", "D:\\c...
spark-sql 操作 hdfs文件，服务器有kerberos安全认证的
小哇
10-30 3193
前提：程序是放在服务器上运行，而非在自己电脑本机环境下运行 1spark-sql 自己写的代码程序，不做任何改动 2 关键是 spark-submit的--keytab，--principal参数 如 spark-submit --keytab /var/lib/hadoop-hdfs/hdfs.keytab --principal hdfs/hdfs@BAIDU.COM --class cn.baidu.service.ApplicationMain ./codeConvert-etl-1.0-...
数据湖之 Flink Spark 集成 iceberg
weixin_50213935的博客
07-08 1408
数据湖之 Flink Spark 集成 iceberg一、iceberg优点二、安装部署三、iceberg集成flink四、hive查询iceberg表五、spark集成iceberg表 一、iceberg优点 提供ACID事物，上游数据写入即可见，提供了 upsert、merge into 能力 支持计算引擎有 Spark、Flink、Presto 以及 Hive 支持 Parquet、Avro 以及 ORC 等存储格式 增量读取处理能力：支持通过流式方式读取增量数据，支持 Structed Strea
SparkStreaming读kafka写入HDFS（kerberos认证）
lhxsir的博客
07-16 5029
SparkStreaming读kafka写入HDFS pom 访问Kerberos环境下的HBase代码 Spark2Streaming应用实时读取Kafka代码 写入数据到kafka代码 SparkStreaming读kafka写入HDFS 本教程基于CDH5.8.0其它组件版本为：spark2.1.0、kafka0.10.2、HDFS2.6.0 pom ...
Java系列之：把Hive表数据以parquet格式保存到Kerberos认证的HDFS上
zhengzaifeidelushang的博客
01-22 617
Java系列之：把Hive表数据以parquet格式保存到Kerberos认证的HDFS上一、hive表结构二、pom.xml添加依赖三、登陆Kerberos认证的HDFS集群所需信息四、代码设置Kerberos登陆信息五、设置hadoop集群信息六、设置Kerberos认证和Hadoop集群信息完整代码七、设置Hive表结构八、获取上个小时时间生成hdfs路径九、设置parquet参数十、添加需要存储到hive表数据十一、把Hive表数据以parquet格式保存到Kerberos认证的HDFS上完整详细注
实践数据湖iceberg 第十五课 spark3安装与集成iceberg0.13 (jersey包冲突，安装完成)
spark_dev的博客
02-13 2669
系列文章目录 实践数据湖iceberg 第一课 入门 实践数据湖iceberg 第二课 iceberg基于hadoop的底层数据格式 实践数据湖iceberg 第三课 在sqlclient中，以sql方式从kafka读数据到iceberg 实践数据湖iceberg 第四课 在sqlclient中，以sql方式从kafka读数据到iceberg（升级版本到flink1.12.7） 实践数据湖iceberg 第五课 hive catalog特点 实践数据湖iceberg 第六课 从kafka写入到iceber
Iceberg实战踩坑指南
击水三千里的专栏
02-21 2821
本文demo基于 0.11.1 版本较老，iceberg官网已经没有该版本样例了，同时改版本也不支持一些iceberg的新特性，比如：upsert功能，动态schema变更以及索引和小文件合并等问题。但是不影响对主要API和功能的学习和理解
启用 Kerberos
hi_23
09-09 710
配置 KDC 服务器
浅谈iceberg的存储文件
hncscwc的博客
03-17 1224
这是我的第100篇原创文章【前言】上一篇文章介绍了如何通过java api对iceberg进行操作。这次我们来聊聊iceberg里的存储文件。iceberg中的持久化存储的文件可以简单的分为数据文件和元数据文件。数据文件就是存储数据记录的文件，而元数据文件又可以分为元数据描述文件、清单列表文件（manifest list），或者根据文件名又可以称为快照文件、以及清单文件（manifest file...
评论 5
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值