0445-如何为Spark应用启用Kerberos的Debug日志

温馨提示：如果使用电脑查看图片不清晰，可以使用手机打开文章单击文中的图片放大查看高清原图。
Fayson的github：
https://github.com/fayson/cdhproject
提示：代码块部分可以左右滑动查看噢

1

文档编写目的

在CDH集群启用了Kerberos后，在执行Spark作业时难免会遇到由于Kerberos认证问题导致作业运行失败的时候，那我们需要针对Spark作业进行调试，通过一些Debug日志查看认证失败的原因。本篇文章Fayson主要介绍如何为Spark的Driver和Executor的JVM启用Kerberos的Debug日志。

• 内容概述

1.启用Kerberos的Debug日志

2.示例运行

3.总结

• 测试环境

1.CM和CDH版本为5.15

2

启用Kerberos的Debug日志

Spark的运行环境Java环境，在为Spark的Driver和Executor启用Kerberos的Debug日志时，可以通过配置通用的Java属性“sun.security.krb5.debug=true”。可以在Java的运行命令中增加参数“-D sun.security.krb5.debug=true”,在运行时启用该属性。

对于Spark，需要在Spark的属性中将这些Java命令行属性分别传递给Driver和Executor对应的JVM,方式如下；

1.Spark Driver启用Kerberos的Debug日志，添加如下参数

spark