SparkSQL ThriftServer 安全相关功能的现状分析

SparkSQL Thrift Server

SparkSQL Thrift Server 是 Spark SQL基于 Apache Hive的 HiveServer2开发的，通过SparkSQL Thrift Server 可以使 Spark SQL支持 JDBC/ODBC 的连接方式，用户可以通过 JDBC and ODBC 协议，在Spark上执行 SQL.

ThriftServer的安全

HiveServer2 和 SparkSQL 的Thrift Server的安全主要包含以下两方面内容：

• 认证（Authentication）：

  认证就是验证用户的身份，就是我们通常说的登录

• 授权（Authorization）：

  授权就是验证用户是否有权限进行特定的操作，有时也叫鉴权。
  

ThriftServer 认证

Apache Hive HiveServer2 支持的认证

• Kerberos authentication
  Kerberos authentication 是 Hadoop 强安全认证的一个重要方式， 在Thrift client 和 HiveServer2 之间，HiveServer2 和 Kerberos 的 HDFS 之间都是支持 Kerberos 的；
• LDAP authentication
  在 Thrift client 和 HiveServer2 之间认证时，LDAP authentication 也是支持的；
• Pluggable Authentication
  在 Thrift client 和 HiveServer2 之间的认证还可以通过实现 Pluggable authentication进行自定义的 Authentication，根据 HiveServer2 实现自己的 Provider 即可

Apache SparkSQL ThriftServer 的认证

理论上, Spark SQL Thrift Server 支持 Hive Server2 的所有的认证。（笔者测试了 Spark 2.1.1 的 Kerberos 支持是可以的）

ThriftServer 授权

Apache Hive HiveServer2 的认证

默认的 Hive Authorization

Hive 早期的授权方式，不安全。

Storage-based Authorization

Storage-based authorization 是基于 HDFS 文件的权限进行认证的, 一般授权可以控制的级别是 databases, tables 和 partitions，但是 Hive的 Grant/Revoke 是无效的

SQL standard-based Authorization

SQL standard-based Authorization 是在 Hive Metastore 中存储了权限的元数据信息，ThriftServer 可以通过读取对应的信息进行授权管理。这种场景下. Grant/Revoke 的 SQL 命令管理方式也是支持的。

Apache Sentry Authorization

Apache Sentry 也是一款不错的授权管理组件，由 Cloudera 主要维护，用户可以通过 HUE 和 Hive命令执行 grant/revoke SQL 语句。
老版本的 Sentry 基于 Hive 上的 Semantic Analyzer Hook, V2 基于 Hive Authorization Factory，也就是 SQL standard-based Authorization。

Spark Thrift Server 的授权

Storage-based Authorization

Storage-based Authorization 是依赖于 HDFS 上的文件权限的，Spark Thrift Server 可以使用, 但是 Spark Thrift Server 不支持 impersonation（类似hive.server2.enable.doAs=true），所以，用户通过Kerberos认证后，ThriftServer 只能以ThriftServer的身份去执行具体的查询
https://issues.apache.org/jira/browse/SPARK-5159

这个问题修复后，最好可以配合 Sentry 这种 Sentry-HDFS permission sync 一起用，在 HDFS 文件的权限 和 Warehouse 权限。

SQL standard-based Authorization

对于 SQL standard-based Authorization (Apache Sentry Authorization), Spark Thrift Server 不支持 SQL standard-based 认证。但是，社区中已经有相应的patch。

https://issues.apache.org/jira/browse/SPARK-8321
https://github.com/apache/spark/pull/11045

总结

• STS(Spark Thrift Server) 支持 Kerberos Authentication
• STS 不支持 SQL standard-based Authorization;
  https://github.com/apache/spark/pull/11045
• STS 支持 Storage-based Authorization, 但是 STS 不支持impersonation (doAs), STS使用这种方式，其实并不能达到完整的授权管理;
• 当 impersonation 支持后, 如果需要高效的管理，最好进入HDFS 文件和数据库权限同步的机制.

原创文章，如需转载，请先联系作者 dapeng.sdp#alibaba-inc.com
欢迎加入Apache Spark中国技术社区参与更多直播、讨论