记一次Flink自带jar包与第三方jar包依赖冲突解决

最新推荐文章于 2025-08-09 09:40:32 发布

原创

最新推荐文章于 2025-08-09 09:40:32 发布 · 2.5k 阅读

6 ·

CC 4.0 BY-SA版权

文章标签：

#flink #jar #hadoop

flink版本1.14.5
hadoop 2.6.0
为了实现flink读取hive数据写入第三方的数据库，写入数据库需要调用数据库的SDK，当前SDK依赖的protobuf-java-3.11.0.jar，guava-29.0-android.jar 与flink中lib下的部分jar包冲突，flink与hadoop、hive编译的jar中使用的guava，protobuf都要低于第三方sdk，因此会遇到下列问题：
：

Caused by: java.lang.NoClassDefFoundError: com/google/protobuf/GeneratedMessageV3
Caused by: java.lang.NoSuchMethodError: com.google.common.base.Preconditions.checkArgument(ZLjava/lang/String;CLjava/lang/Object;)V

遇到这个问题时首先要定位到具体jar包，可通过下面这个脚本来找到具体哪个jar包冲突

#!/bin/sh

find_dir=$1
find_key=$2

jars=`find $find_dir -name '*.jar'`
for jar in $jars
do
    ret=`jar tvf $jar | grep $find_key`
    if [ "$?" = "0" ]; then
        echo -e "\e[1;34m${jar}\e[0m: \n\e[2;34m${ret}\e[0m"
    fi
done

wars=`find $find_dir -name '*.war'`
for war in $wars
do
    ret=`jar tvf $war | grep $find_key`
    if [ "$?" = "0" ]; then
        echo -e "\e[1;34m${war}\e[0m: \n\e[2;34m${ret}\e[0m"
    fi
do