pxf的hadoop\hive环境配置问题汇总

pxf版本5.21

• 参考文档 https://gpdb.docs.pivotal.io/5210/pxf/install_java.html

部署流程

• 按照jdk https://gpdb.docs.pivotal.io/5210/pxf/install_java.html
• 初始化pxf https://gpdb.docs.pivotal.io/5210/pxf/init_pxf.html
• pxf-hadoop环境配置 https://gpdb.docs.pivotal.io/5210/pxf/client_instcfg.html

hadoop外部表测试（没有配置kerberos认证）

• 根据这个文档创建对应的hadoop外部表进行测试：https://gpdb.docs.pivotal.io/5210/pxf/access_hdfs.html

创建好hadoop表之后，不代表整体都调通，还得测试gp集群对hadoop是否读写的权限等，是否能正常访问hadoop、hive等的数据。遇到的问题以及一些注意点在下面列出。

注意点说明

• pxf-5.21版本自带的hadoop等的jar包是2.9.0版本的，即使在用的hadoop版本低于这个版本也是兼容的（本次部署的hadoop是2.6版本的），不需要替换为hadoop对应的2.6版本的jar包，替换了也会有挺多classNotFound等异常。
• pxf-5.21自带了需要的hadoop\hive\hbase等环境，不需要自行配置hadoop\hive\hbase的客户端（早前的pxf版本需要自行配置）。