DataX之hdfsreader踩坑之路

1、使用kerberos认证
报错：java.lang.IllegalArgumentException:Can’t get kerberos realm
原因：这是由于datax并没有读取到krb5.conf这个文件
解决方法：1)需将该文件绝对路径配置到环境变量中
2)修改datax源码，增加System.setProperty(“java.security.krb5.conf”,FilePath)
3)配置参数-Djava.security.krb5.conf=FILE_PATH
bin/datax.py -p “-Djava.security.krb5.conf=/data/chnrwd/krb5.conf” job/hive_job.json
2、报错：javax.security.sasl.SaslException: No common protection layer between client and server
原因：由服务端与客户端配置项hadoop.rpc.protection不一致导致
解决方法：增加参数 “hadoopConfig”:{“hadoop.rpc.protection”:“privacy”}
3、报错：org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.ipc.standbyException): Operation category READ is not supported in state standby
原因：参数设置的是处于standby主节点的地址

ping两个集群的namenode节点，看是否能够ping通