初学Flink -- hadoop包在加载时候的冲突问题

最新推荐文章于 2024-06-26 15:40:10 发布
最新推荐文章于 2024-06-26 15:40:10 发布
阅读量1.6k 收藏
点赞数
文章标签： 毁我青春
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/DZ_wlz/article/details/81744030
版权

这几天，在Flink中 重写 自定义的类似于DateBucketer时，编译打包过程没有问题，不过在提交到flink集群上面时，出现了Flink的ClassLoader和java的ClassLoader对getFileSystem()方法返回值的定义问题

后来了解到Flink重写了org.apache.hadoop中的部分Class，导致我们在编译的时候可以用官方的包进行编译，打包也可以正常打包，但是提交到flink集群时候，就和Flink已有的包有冲突，导致链接报错

 

解决方案是，在编译时用本地自己的包，在打包的过程中，不讲org.apache.hadoop包打进jar，可以解决

DZ_wlz
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
Flink项目日志打印冲突
qq_31866793的博客
01-12 2329
1，正常在resource下，log4j.properties文件可以控制日志的级别 如图： 2，然而，在突然有一天，你发现flink控制台打印的日志不受你的控制了。 花费时间解决冲突...... 然而一点效果都没有。。。。 3，解决办法 1）肯定是包冲突，搜索除log4j意外的日志打印,比如 （下面的logback被我移除了） 2）添加xml ，logback.xml放置在resources下面 内容如下： <!-- ~ Licensed ...
flink 任务提交时之hadoop jar包冲突
Andrew_2018的博客
01-26 918
1. Exception in thread "main" java.lang.NoSuchMethodError: org.apache.hadoop.security.authentication.util.KerberosUtil.hasKerberosTicket(Ljavax/security/auth/Subject;)Z at org.apache.hadoop.security.UserGroupInformation.<init>(UserGroupInformation
flink on yarn模式启动报错：org.apache.hadoop.yarn.exceptions.YarnException
最新发布
m0_37759590的博客
06-26 109
flink on yarn模式启动报错：org.apache.hadoop.yarn.exceptions.YarnException
org.apache.flink.core.fs.UnsupportedFileSystemSchemeException: Hadoop is not in the classpath/depend
MCY的博客
02-23 2713
Flink应用提交到集群报错 org.apache.flink.core.fs.UnsupportedFileSystemSchemeException: Hadoop is not in the classpath/dependencies. 产生上述问题是在Flink中操作了HDFS文件系统（比如checkpoint到HDFS） 但是缺少配置导致的 解决方法: 1.环境变量加入以下配置（别忘...
hadoop 3.x 案例5:Flink SQL运行报错
只是甲的博客
12-16 1834
Flink SQL hadoop 大数据平台
CDH6.3.2 集成 Flink 1.17.0 失败过程
qq_41875667的博客
06-10 1952
环境说明:cdh版本:cdh6.3.2。
flink-shaded-hadoop-3下载
05-19
flink-shaded-hadoop-3下载
flink-shaded-hadoop-uber-3.2.3.jar
05-29
flink 1.14.3集成hadoop 3.2.3的jar包，flink启动yarn session时需要将该jar放到flink的lib目录下
flink-shaded-hadoop-2-uber-2.7.5-10.0.jar.zip
05-27
总的来说，`flink-shaded-hadoop-2-uber-2.7.5-10.0.jar.zip` 提供了一个方便、兼容且冲突解决的 Flink-Hadoop 集成方案，是大数据开发者在处理涉及 Flink 和 Hadoop 的复杂场景时的重要工具。理解并熟练使用这种 ...
flink-shaded-hadoop-2-uber-3.0.0-cdh6.2.0-7.0.jar
02-18
# 解压命令 tar -zxvf flink-shaded-hadoop-2-uber-3.0.0-cdh6.2.0-7.0.jar.tar.gz # 介绍 用于CDH部署 Flink所依赖的jar包
flink-shaded-hadoop-3-uber-3.1.1.7.1.1.0-565-9.0.jar.tar.gz
11-14
为解决这个问题，Flink社区提供了"flink-shaded-hadoop-3-uber-3.1.1.7.1.1.0-5.6.5-9.0.jar"这样的兼容包，这是一个"uber jar"，也称为fat jar，它包含了Flink对Hadoop 3.x的依赖，并进行了重打包处理，以避免类...
flink的jar包和服务器的包冲突解决方案
wppwpp1的专栏
12-17 4014
1,因本地依赖的包和服务器上包冲突。主要是是flink集群已经有guava的jar包。错误代码如下： 2020-12-04 23:35:45 java.lang.NoSuchMethodError: com.google.common.hash.Hashing.farmHashFingerprint64()Lcom/google/common/hash/HashFunction; at com.dewu.com.aliyun.openservices.aliyun.log.producer.i...
记一次Flink自带jar包与第三方jar包依赖冲突解决
qq_39448012的博客
08-25 2233
flink java.lang.NoClassDefFoundError: com/google/protobuf/GeneratedMessageV3
flink实战--开发中常见的错误与问题
热门推荐
阿华田的博客
12-19 2万+
常见错误集 1.Checkpoint失败：Checkpoint expired before completing env.enableCheckpointing(1000L) val checkpointConf = env.getCheckpointConfig checkpointConf.setMinPauseBetweenCheckp...
Flink继续填坑之hadoop又出问题了
i_monster的博客
04-18 3763
最近主机坏掉，尝试修改了一下配置，本来的服务器发生故障无法运行，想修改换到另一台电脑上，但是在修改的过程中执行hadoop语句产生了一个错误本来我以为这个是因为免密登陆产生的原因，于是就重新做了一遍免密登陆的操作，但是之后还是这个问题，至于问题的原因并不清楚，再慢慢查现在赶紧把方法记录下来，真的是很简单，就是把图上那个阴影部分代码复制运行一边就可以了，额，人生之路太过于艰辛，有一个大佬能传授传授学...
Flink提交运行中常见问题总结
fct2001140269的博客
12-19 7346
Flink提交运行中常见问题总结 一、问题1 1.问题描述： 提交jar到Flink集群时候出现： java.util.ServiceConfigurationError: org.apache.hadoop.fs.FileSystem: Provider org.apache.hadoop.fs.viewfs.ViewFileSystem could not be instantiated 可...
hadoop2.0 安全配置 kerberos
baiyangfu的专栏
10-14 7324
在安装配置 kerberos 之前，需要了解一些背景资料：  http://www.freebsd.org/doc/zh_CN/books/handbook/kerberos5.html http://blog.wgzhao.com/2005/12/02/kerberos-authentication-configuration/ 1、kdc服务器上安装kerberos-se
Flink部署后启动不成功错误
qq_56870570的博客
03-18 7760
案例：Flink1.12.4 启动Flink [hadoop@hadoop01 ~]$ bin/start-cluster.sh [hadoop@hadoop01 ~]$ call-cluster.sh jps --------hadoop01-------- 10369 QuorumPeerMain 11297 NodeManager 12241 TaskManagerRunner 10885 JournalNode 10551 NameNode 12599 Jps 12538 HistoryS
flink-shaded-hadoop3 和 flink-shaded-hadoop3-uber
09-03
flink-shaded-hadoop3和flink-shaded-hadoop3-uber是Apache Flink项目中与Hadoop 3.x版本集成相关的两个模块。 首先，Hadoop是一个分布式计算框架，用于处理大规模数据。而Flink是一个快速而可扩展的流式处理引擎，它可以在实时和批处理任务之间无缝切换。为了与Hadoop集成，并且能够在Flink中使用Hadoop生态系统的各种功能和工具，例如HDFS、YARN和MapReduce等，Flink提供了与Hadoop版本兼容的特殊模块。 flink-shaded-hadoop3模块是Flink所提供的一个可防止与Hadoop 3.x版本依赖冲突的模块。在Flink应用程序中，当需要使用Hadoop 3.x相关功能时，可以将flink-shaded-hadoop3模块添加到项目的依赖中。该模块会将特定版本的Hadoop 3.x依赖项重新打包，以避免与Flink自身或其他依赖项产生冲突。这样一来，Flink就能够与Hadoop 3.x版本协同工作，平滑地使用Hadoop的功能。 而flink-shaded-hadoop3-uber模块则是更加完整和庞大的用于集成Hadoop 3.x版本的模块。它将包含Hadoop 3.x依赖的所有必需库和资源等，以便于使用和编译。相比于flink-shaded-hadoop3模块，flink-shaded-hadoop3-uber模块更像是一个“全能版”，其中包含了实现与Hadoop 3.x版本深度集成所需的所有组件。这使得开发人员能够方便地构建和部署Flink应用程序，并且在与Hadoop生态系统进行交互时更加方便。 总的来说，flink-shaded-hadoop3和flink-shaded-hadoop3-uber模块都是Flink为了与Hadoop 3.x版本无缝集成，提供的两个特殊模块。它们通过重新打包Hadoop依赖，解决了可能产生的冲突问题，使得Flink能够顺利使用并利用Hadoop的功能和工具。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值