14.你上传的 jar 包藏到哪里去了?

前言

写这篇文章其实也是知识星球里面的一个小伙伴问了这样一个问题:

通过 flink UI 仪表盘提交的 jar 是存储在哪个目录下?

这个问题其实我自己也有问过,但是自己因为自己的问题没有啥压力也就没深入去思考,现在可是知识星球的付费小伙伴问的,所以自然要逼着自己去深入然后才能给出正确的答案。

跟着我一起来看看我的探寻步骤吧!小小的 jar 竟然还敢和我捉迷藏?

查看配置文件

首先想到的是这个肯定可以在配置文件中有设置的地方的:

谷歌大法好

虽然有个是 upload 的,但是并不是我们想要的目录!于是,只好动用我的“谷歌大法好”。

找到了一条,点进去看 Issue 如下:

发现这 tm 不就是想要的吗?都支持配置文件来填写上传的 jar 后存储的目录了!赶紧点进去看一波源码:

源码确认

这个 jobmanager.web.upload.dir 是不是?我去看下 1.8 的源码确认一下:

发现这个 jobmanager.web.upload.dir 还过期了,用 WebOptions 类中的 UPLOAD_DIR 替代了!

继续跟进去看看这个 UPLOAD_DIR 是啥玩意?

看这注释的意思是说,如果这个配置 web.upload.dir 没有配置具体的路径的话就会使用 JOB_MANAGER_WEB_TMPDIR_KEY 目录,那么我们来看看是否配置了这个目录呢?

确实没有配置这个 jar 文件上传的目录,那么我们来看看这个临时目录 JOB_MANAGER_WEB_TMPDIR_KEY 是在哪里的?

又是一个过期的目录,mmp,继续跟下去看下这个目录 TMP_DIR

我们查看下配置文件是否有配置这个 web.tmpdir 的值,又是没有:

so,它肯定使用的是 System.getProperty("java.io.tmpdir") 这个目录了,

我查看了下我本地电脑起的 job 它的配置中有这个配置如下:

java.io.tmpdir	/var/folders/mb/3vpbvkkx13l2jmpt2kmmt0fr0000gn/T/

再观察了下 job,发现 jobManager 这里有个 web.tmpdir 的配置:

web.tmpdir	/var/folders/mb/3vpbvkkx13l2jmpt2kmmt0fr0000gn/T/flink-web-ea909e9e-4bac-452d-8450-b4ff082298c7

发现这个 web.tmpdir 的就是由 java.io.tmpdir + “flink-web-” + UUID 组成的!

水落石出

进入这个目录发现我们上传的 jar 终于被找到了:

配置上传 jar 目录确认

上面我们虽然已经知道我们上传的 jar 是存储在这个临时目录里,那么我们现在要验证一下,我们在配置文件中配置一下上传 jar 的固定位置,我们先在目录下创建一个 jars 目录,然后在配置文件中加入这个配置:

web.tmpdir: /usr/local/blink-1.5.1/jars

更改之后再看 web.tmpdir 是这样的:

从 Flink UI 上上传了三个 jar,查看 /usr/local/blink-1.5.1/jars/flink-web-7a98165b-1d56-44be-be8c-d0cd9166b179 目录下就出现了我们的 jar 了。

我们重启 Flink,发现这三个 jar 又没有了,这也能解释之前我自己也遇到过的问题了,Flink 重启后之前所有上传的 jar 都被删除了!作为生产环境,这样玩,肯定不行的,所以我们还是得固定一个目录来存储所有的上传 jar 包,并且不能够被删除,要配置固定的目录(Flink 重启也不删除的话)需要配置如下:

web.upload.dir: /usr/local/blink-1.5.1/jars

这样的话,就可以保证你的 jar 不再会被删除了!

再来看看源码是咋写的哈:

//从配置文件中找 UPLOAD_DIR
final Path uploadDir = Paths.get(
	config.getString(WebOptions.UPLOAD_DIR,	config.getString(WebOptions.TMP_DIR)),
	"flink-web-upload");

return new RestServerEndpointConfiguration(
	restAddress,restBindAddress,port,sslEngineFactory,
	uploadDir,maxContentLength,responseHeaders);

他就是从配置文件中找 UPLOAD_DIR,如果为 null 就找 TMP_DIR 目录来当作 jar 上传的路径!

总结

本文从知识星球一个朋友的问题,从现象到本质再到解决方案的讲解了下如何找到 Flink UI 上上传的 jar 包藏身之处,并提出了如何解决 Flink 上传的 jar 包被删除的问题。

ava.io.EOFException: null at org.apache.tomcat.util.net.NioEndpoint$NioSocketWrapper.fillReadBuffer(NioEndpoint.java:1345) ~[tomcat-embed-core-9.0.45.jar!/:?] at org.apache.tomcat.util.net.NioEndpoint$NioSocketWrapper.read(NioEndpoint.java:1255) ~[tomcat-embed-core-9.0.45.jar!/:?] at org.apache.tomcat.websocket.server.WsFrameServer.onDataAvailable(WsFrameServer.java:75) ~[tomcat-embed-websocket-9.0.45.jar!/:?] at org.apache.tomcat.websocket.server.WsFrameServer.doOnDataAvailable(WsFrameServer.java:183) ~[tomcat-embed-websocket-9.0.45.jar!/:?] at org.apache.tomcat.websocket.server.WsFrameServer.notifyDataAvailable(WsFrameServer.java:162) ~[tomcat-embed-websocket-9.0.45.jar!/:?] at org.apache.tomcat.websocket.server.WsHttpUpgradeHandler.upgradeDispatch(WsHttpUpgradeHandler.java:156) [tomcat-embed-websocket-9.0.45.jar!/:?] at org.apache.coyote.http11.upgrade.UpgradeProcessorInternal.dispatch(UpgradeProcessorInternal.java:60) [tomcat-embed-core-9.0.45.jar!/:?] at org.apache.coyote.AbstractProcessorLight.process(AbstractProcessorLight.java:59) [tomcat-embed-core-9.0.45.jar!/:?] at org.apache.coyote.AbstractProtocol$ConnectionHandler.process(AbstractProtocol.java:893) [tomcat-embed-core-9.0.45.jar!/:?] at org.apache.tomcat.util.net.NioEndpoint$SocketProcessor.doRun(NioEndpoint.java:1707) [tomcat-embed-core-9.0.45.jar!/:?] at org.apache.tomcat.util.net.SocketProcessorBase.run(SocketProcessorBase.java:49) [tomcat-embed-core-9.0.45.jar!/:?] at java.util.concurrent.ThreadPoolExecutor.runWorker(Unknown Source) [?:1.8.0_121] at java.util.concurrent.ThreadPoolExecutor$Worker.run(Unknown Source) [?:1.8.0_121] at org.apache.tomcat.util.threads.TaskThread$WrappingRunnable.run(TaskThread.java:61) [tomcat-embed-core-9.0.45.jar!/:?] at java.lang.Thread.run(Unknown Source) [?:1.8.0_121]
07-13
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值