flink1.12.3批写hive相关问题解决------guava版本冲突解决

本文介绍了三种处理Flink与Hadoop、Hive依赖冲突的策略:1) 创建自定义的hadoop依赖包放入flink的lib目录;2) 重新编译hive-exec并替换本地仓库或直接放入flink的lib;3) 使用shade插件创建新的工程,重定位guava包名。这些方法旨在确保项目正常运行并避免类冲突问题。
摘要由CSDN通过智能技术生成

三种解决办法


1、自己打一个hadoop依赖包,放到flink的lib下:
=》需要自己编译,指定hadoop版本 flink-uber-hadoop-xxxxx

2、重新编译hive,拿到重新编译的hive-exec
=》 1. 替换本地仓库的 exec,打包到你的jar包里
=》 2. 将 hive-exec 丢到 flink的lib下

3、新建一个工程,引入 hive-exec依赖, 使用shade插件,relocation 重定位 guava 包名
=》 打包,
=》 手动install到你的 maven本地仓库
=》 你的代码里不要引入 hive-exec,引入你的新工程的jar包

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值