文章目录
![在这里插入图片描述](https://i-blog.csdnimg.cn/blog_migrate/aff807ac620a7c0047c62558fbdd6d12.png)
1.概述
现场一个环境,发现flink提交的客户端日志,打印了30G,在几分钟内就达到了这么大,而且无法打开查看,因为太大了。首先,flink客户端日志只是提交的日志,一般情况下不会太大,出现这种情况一定是有错误。
然后我就删除了这个日志文件,然后重新启动任务,启动后,tail -f
查看日志,发现日志在狂刷。日志报错内容如下
看到 the client is stop
这几个关键字的时候,我突然想到以前spark遇到的问题。
当时是2018年5月,spark 2.4 版本,提交的spark应用程序,在我们调用yarn杀死了yarn上的任务后,发现客户端进程仍然存在,并且报错也是这个。为此我还特意写了博客 【linux】linux一次杀死多个进程
本文出自 csdn 九师兄,防伪标志,本文由九师兄唯一发布。原地址:https://blog.csdn.net/qq_21383435