一. hive.hdfs.impersonation.enabled
1. hive.hdfs.impersonation.enabled设置为true后,Presto将使用hive.hdfs.presto.principal设置的用户去代理客户端用户与hdfs进行交互,但是hdfs端看到的用户都是客户端用户,因此如果创建文件,那么文件的属组将为客户端用户。如果hive.hdfs.impersonation.enabled=false,则Presto将直接使用hive.hdfs.presto.principal设置的用户与hdfs进行交互,所以如果新建文件,文件的数组将为hive.hdfs.presto.principal用户。
2. hive.hdfs.impersonation.enabled的实现原理是通过创建访问Hdfs的Ugi来控制的。如果hive.hdfs.impersonation.enabled为true,则创建ProxyUGI:UserGroupInformation.createProxyUser(user, hadoopAuthentication.getUserGroupInformation()) ,如果为false,则直接使用hadoopAuthentication.getUserGroupInformation()的UGI访问hdfs。
3. hive.hdfs.presto.principal可以代理哪些用户,是由core-site文件中的hadoop.proxyuser.xxx.hosts和hadoop.proxyuser.xxx.groups控制的,如果不在core-site中开放代理的白名单,Presto通过RPC连接hdfs的时候,将提示xxx is not allowed to impersonate yyy的错误。
二. hive.hdfs.wire-encryption.enabled
1. hive.hdfs.wire-encryption.enabled配置的含义是指的是DataNode与客户端之间传递数据时候,是否会进行加密。如果将hive.hdfs.wire-encryption.enabled设置为true,Presto在访问hdfs时候会将配置dfs.encrypt.data.transfer设置为true和hadoop.rpc.protection设置为privacy实现Presto与DataNode之间数据传递加密。