文章目录
1 Overview
我们目前生产环境,包括 Spark History Server 用的都是 Spark 2.2.0 的 Fork 版本,所以社区有些基于 2.2.0 甚至之前版本的 Fix 是没有合并进来的。近期在看 Spark History Server 的时候,偶尔会发现无法访问。
2 复盘
检查 Spark History Server 的日志,发现如下错误信息。
Spark history server fails to render compressed inprogress history file in some cases,最后发现这是一个 Spark JIRA 上提到过的问题。
可惜的是,修复的代码是在 2.2.1 以后的版本了,但是我们的 History Server 是基于 Spark 2.2.0 的,显然代码里没有包含修复的逻辑。
3 Fix
解决的办法就是升级 Spark History Server 的版本。基于 Spark 2.3.0 重新构建一个镜像就可以了。