本文探讨了Flink作业提交时如何处理依赖jar包的问题。Flink官方建议将所有依赖和业务逻辑打包成一个fat jar，但实践中更倾向于动态提交依赖。文章分析了Flink官方选项的限制，并提出三种解决方案：1) 结合-yt参数使用；2) 修改PackageProgram处理lib包；3) 直接在ClusterClient中调整jobGraph。根据实际情况，作者选择了方案2，但指出方案1在某些场景下也适用。
通常我们在编写一个flink的作业的时候，肯定会有依赖的jar包。flink官方希望你将所有的依赖和业务逻辑打成一个fat jar，这样方便提交，因为flink认为你应该对自己的业务逻辑做好单元测试，而不应该把这部分测试工作频繁提交到集群去做。但事实是我们往往不愿意打一个fat jar，我们希望将业务逻辑独立出来，依赖动态提交。可惜的是，flink并不支持这种提交模式。
flink官方的文档中提供了-C这个选项，来支持提交classpath，我们当时以为这个会有作用，后来再研读源码和实际测试的情况看来，不行，-C不是这么用的。
-C,--classpath ， Adds a URL to
1103
3827
1092
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
订阅专栏 解锁全文
扫一扫
