spark学习-33-Spark安全机制SecurityManager

1.概述

官网请查看：http://spark.apache.org/docs/latest/security.html，本文是翻译加工
　
现在，Spark支持通过共享秘钥进行认证。启用认证功能可以通过参数spark.authenticate来配置。此参数控制spark通信协议是否使用共享秘钥进行认证。这种认证方式基于握手机制，以确保通信双方都有相同的共享秘钥时才能通信。如果共享秘钥不一致，则双方将无法通信。可以通过以下过程来创建共享秘钥：

1. 在spark on YARN部署模式下，配置spark.authenticate为true，就可以自动产生并分发共享秘钥。每个应用程序都使用唯一的共享秘钥。
2. 其他部署方式下，应当在每个节点上都配置参数spark.authenticate.secret。此秘钥将由所有Master、worker及应用程序来使用。
3. 注意：实验性的Netty shuffle路径（spark.shuffle.use.netty）是不安全的，因此，如果启