pxf版本5.21
- 参考文档 https://gpdb.docs.pivotal.io/5210/pxf/install_java.html
部署流程
- 按照jdk https://gpdb.docs.pivotal.io/5210/pxf/install_java.html
- 初始化pxf https://gpdb.docs.pivotal.io/5210/pxf/init_pxf.html
- pxf-hadoop环境配置 https://gpdb.docs.pivotal.io/5210/pxf/client_instcfg.html
hadoop外部表测试(没有配置kerberos认证)
- 根据这个文档创建对应的hadoop外部表进行测试:https://gpdb.docs.pivotal.io/5210/pxf/access_hdfs.html
创建好hadoop表之后,不代表整体都调通,还得测试gp集群对hadoop是否读写的权限等,是否能正常访问hadoop、hive等的数据。遇到的问题以及一些注意点在下面列出。
注意点说明
- pxf-5.21版本自带的hadoop等的jar包是2.9.0版本的,即使在用的hadoop版本低于这个版本也是兼容的(本次部署的hadoop是2.6版本的),不需要替换为hadoop对应的2.6版本的jar包,替换了也会有挺多classNotFound等异常。
- pxf-5.21自带了需要的hadoop\hive\hbase等环境,不需要自行配置hadoop\hive\hbase的客户端(早前的pxf版本需要自行配置)。