GBASE 8A v953报错集锦56--Hadoop 加载失败问题

问题现象

Hadoop 升级并新增了 kerberos 认证功能，执行从 hadoop 加载数据时报错：

执行 Load data infile ‘hdp://…’into table …报错：

I/O operation on hdp://…HdfsIOException:InputStreamImpl:cannot read

file.

Express 日志中信息显示错误是 hadoop server 端抛出的异常：

HdfsIOException：InputStreamImpl：all nodes have been tried and no valid

replica can be read for Block

解决方法：

查看 hadoop 日志发现 datanode 之间数据传输开启了加密传输：

Failed to read expected SASL data transfer protection handshake from

client at ….Perhaps the client is running an older version of Hadoop

which does not support SASL data transfer protection.

当 HDFS 启用 Kerberos 认证，并且仅允许 HTTPS 连接，datanode 数据传输启用了传

输加密功能时，即 hadoop 配置如下时：

<property>

<name>dfs.http.policy</name>

<value>HTTPS_ONLY</value>

</property>

<property>

<name>dfs.data.transfer.protection</name>

<value>authentication</value>

</property>

需要配置如下参数才可以正常加载 hadoop 数据：

set

global

_gbase_hdfs_rpcconfig=’dfs.encrypt.data.transfer=true,dfs.block.access

.token.enable=true’;