spark日志查看

找到application id进去

这里查看driver

或者进入spark的history

来这里可以同时查看所有的executor，包括driver。点开executor后可以看到你所有的executor，和一个driver。日志见右侧。stdout是自己定义println的输出日志，stderr是spark输出的规范日志。

对于driver日志而言，代码中的println()和show()等函数的输出，一般都在stdout里，大部分重要的报错信息都在stderr里。如果application跑的很慢，还可以通过gclog确认是否是因为driver遇到了Full GC，也可以进入stdout或stderr日志界面后，在浏览器地址栏中将“stdout”或“stderr”文字替换为“gclog”，回车后也可查看gclog信息。

在stdout与stderr中，着重搜索和看ERROR、Exception、Failed、Caused by等位置的报错信息，这四个位置都没什么内容再看WARN。