parquet : java.lang.NoSuchFieldError: BROTLI

最新推荐文章于 2024-04-05 07:00:00 发布
最新推荐文章于 2024-04-05 07:00:00 发布
阅读量1.6k 收藏
点赞数
分类专栏： 数据格式
本文为博主九师兄（QQ:541711153 欢迎来探讨技术）原创文章，未经允许博主不允许转载。
本文链接：https://blog.csdn.net/qq_21383435/article/details/99685881
版权
数据格式 专栏收录该内容
28 篇文章 468 订阅 ¥9.90 ¥99.00
订阅专栏
这篇博客介绍了在遇到Parquet文件处理时遇到的`java.lang.NoSuchFieldError: BROTLI`错误。作者首先描述了问题背景，由于团队成员修改并上传了Parquet内容到私服，导致依赖问题。在分析问题中发现某个压缩方法缺失，通过对比不同环境的类路径，找到了问题所在，并给出了解决方案——引入缺失的BROTLI压缩方法相关包。此外，还提供了一种变通方法，即替换为Apache的实现，测试后同样达到预期效果。
摘要由CSDN通过智能技术生成

1. 背景

在这里插入图片描述
因为业务，组内一个同学修改了parquet的内容，并且上传到私服
mavnen依赖如下

	<parquet.version>1.11.0-SNAPSHOT</parquet.version>

  	 <dependency>
了解本专栏 订阅专栏 解锁全文
九师兄
关注
专栏目录
订阅专栏
java.lang.NoSuchMethodError: shaded.parquet.org.apache.thrift.EncodingUtils.setBit(BIZ)B
九师兄
08-16 1877
使用Apache Parquet来处理列式存储和编码。遇到问题（NoSuchMethodError）可能与版本不一致或冲突有关。年代久远，忘记为啥报错这个了。
Flink启动yarn-session失败：Java.lang.NoSuchMethodError 大数据
2301_79366435的博客
09-18 456
在大数据领域中，Apache Flink 是一个强大而灵活的分布式数据处理引擎。它支持在集群中进行实时流处理和批处理，并提供了基于事件时间的窗口计算、状态管理以及容错机制。然而，有时在启动 Flink 的 YARN 会话时，可能会遇到 java.lang.NoSuchMethodError 错误。本文将探讨该错误的原因，并提供解决方案。
【原创】大叔问题定位分享（2）spark任务一定几率报错java.lang.NoSuchFieldError: HIVE_MOVE_FILES_THREAD_COUNT...
weixin_30892987的博客
11-02 207
最近用yarn cluster方式提交spark任务时，有时会报错，报错几率是40%，报错如下： 18/03/15 21:50:36 116 ERROR ApplicationMaster91: User class threw exception: org.apache.spark.sql.AnalysisException: java.lang.NoSuchFieldError: HIV...
java.lang.NoSuchMethodError: org.apache.parquet.io.OutputFile.getPath()Ljava/lang/String；
AnameJL的博客
06-28 350
Flink写入Parquet发生依赖冲突
Spark-3.x报错：java.lang.NoSuchFieldError: JAVA_9
succeedloveaaaa的专栏
03-11 4110
这个错误主要是因为Spark-3.x会依赖commons-lang3这个包 普通的解决方法就不说了，解决冲突，缺少commons-lang3的加上去等等 如果还不行，就检查下是否有hive-exec这个依赖的存在，打开它你会发现它里面竟然也有commons-lang3，但是它的JavaVersion这个类竟然不一样！！！ 如果是上面的问题，排除掉hive-exec就好了 ...
geoTool记录（20200923）java.lang.NoSuchFieldError: JAVA_9
Jos
09-23 1304
在使用getTool 的时候，程序一直报错， java.lang.NoSuchFieldError: JAVA_9 后经过谷歌查询之后 commons-lang 包过于老旧导致 更新为新版即可 <dependency> <groupId>org.apache.commons</groupId> <artifactId>commons-lang3</artifactId>
Caused by: java.io.NotSerializableException: org.apache.parquet.schema.MessageType
qq_31866793的博客
05-21 1053
目前没解决，本地代码可以运行，打包集群运行也没问题，可能是zeppelin哪里的依赖包冲突。 scala任务代码 Head default %flink.conf flink.execution.packages org.apache.flink:flink-connector-kafka_2.11:1.11.2,com.alibaba:fastjson:1.2.60,org.apache.flink:flink-parquet_2.11:1.1...
hbase程序报错：java.lang.ClassNotFoundException: org.apache.hadoop.hbase.client.Scan
xizhen2014的博客
08-01 1046
根据报错返回的日志内容，可以看出，大致是我们在使用MapReduce去执行hhbase程序时，未找到类：org.apache.hadoop.hbase.client.Scan。我们只需要将hbase的jar包引用到hadoop的jar包中即可，亦或者我们执行程序前声明一下hadoop的类路径指向hbase的jar包位置。本地编写hbase程序后，maven生成jar包，提交到测试环境，使用MapReduce执行时，不管采取了以上哪两种方式，处理之后，再次提交hbase程序，就不会有报错了。
IDEA报错：java.lang.NoSuchFieldError 和 NoSuchMethodError
whtaname的博客
02-01 7001
java报错：java.lang.NoSuchFieldError 和 NoSuchMethodError
java.lang.NoSuchFieldError报错解决方案
weixin_30266885的博客
06-05 1976
该问题字面意思，没有找到相应的字段。原因在于，maven项目开发的时候，两个子项目同时进行开发，互不关联，有第三个子项目进行使用这两个字项目。就比如，一个带有支付软件项目，支付组自己进行支付相关工具封装，网站组也对自己实用工具封装，部门说，支付组做的子项目要能够灵活使用其他项目中，那么exception枚举类就要使用自己的，刚好他们使用了相同的包路径和类名，造成整体项目打包的时候类加载进行了覆盖，...
已解决java.lang.NoSuchFieldError: 字段未找到错误异常的正确解决方法，亲测有效！！！
小明的Java问道之路
04-05 6192
已解决java.lang.NoSuchFieldError: 字段未找到错误异常的正确解决方法，亲测有效！！！
ModuleNotFoundError: No module named ‘antlr4‘ 或 Could not deserialize ATN with UUID
qq_43655453的博客
05-10 3092
antlr4配置
spark 读取lzo 环境依赖
guitarCC的博客
09-26 1031
bug:由于lzo压缩本身不属于hadoop体系自带压缩方式以及spark自带的解析方式，所以往往需要额外配置，idea 本地环境想要读取lzo文件，就要使本地环境支持lzo依赖出于开发的便利，需要idea中读取到lzo压缩的数据
java报错：Exception in thread "main" java.lang.NoSuchFieldError: INSTANCE
weixin_30376083的博客
01-01 1101
Exception in thread "main" java.lang.NoSuchFieldError: INSTANCE at org.apache.http.conn.ssl.SSLConnectionSocketFactory.<clinit>(SSLConnectionSocketFactory.java:144) at us.codecraft.webmagic.down...
Spark 运行问题 java.lang.NoSuchMethodError 解决方案
qq_43667449的博客
03-30 2328
这里写自定义目录标题Spark 运行问题 java.lang.NoSuchMethodError 解决方案 Spark 运行问题 java.lang.NoSuchMethodError 解决方案 一般情况，出现这种问题是因为scala和spark的版本不匹配，需要重新下载两者相匹配的版本。 <!-- 在properties中添加Spark版本 --> <properties> <spark.version>2.3.3</spark.version
Spark SQL的Parquet那些事儿.docx
大数据星球-浪尖
04-28 1659
Parquet是一种列式存储格式，很多种处理引擎都支持这种存储格式，也是sparksql的默认存储格式。Spark SQL支持灵活的读和写Parquet文件，并且对par...
Exception in thread "main" java.lang.NoSuchFieldError的 一种解决办法
热门推荐
u010669792的专栏
01-21 1万+
昨天重新安装myeclipse 后，运行原来的代码总是报这个错误： xception in thread "main" java.lang.NoSuchFieldError: INSTANCE     at org.apache.http.impl.io.DefaultHttpRequestWriterFactory.(DefaultHttpRequestWriterFactory.java:
java.lang.ClassNotFoundException: org.apache.parquet.hadoop.api.ReadSupport
最新发布
05-28
这个异常是Java中的一个运行时异常，通常出现在你运行的Java程序试图使用一个不存在的类时。具体地说，它表示Java虚拟机无法找到特定的类文件。 在你的问题中，这个异常的出现可能是因为程序试图使用了一个不存在或者不可用的类org.apache.parquet.hadoop.api.ReadSupport。这个类通常是Apache Parquet文件格式的Java读取器所依赖的类，所以你需要检查你的项目中是否包含了这个类，或者是否存在其他依赖于这个类的库文件没有被正确引用。 如果以上方法都无法解决问题，你可能需要考虑升级你的Parquet库或者重新构建你的项目，以便正确地引用所有必要的依赖项。
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

九师兄

你的鼓励是我做大写作的动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值