Greenplum的PXF在容器中编译

本文介绍了如何在容器环境中编译Greenplum的PXF组件。PXF支持联邦数据查询,适用于Hadoop、hive等多数据源。编译过程包括容器启动、依赖安装、Python与Go环境配置、Greenplum数据库准备,以及编译步骤和注意事项,如解决依赖下载问题。
摘要由CSDN通过智能技术生成

一.背景

pxf适用于联邦数据的查询,支持多种数据源,如Hadoop、hive、关系数据库。支持多个异构数据源,并只查询数据源中少量数据集,而避免对数据集执行ETL操作。

二.PXF架构

1.pxf server 部署在segment host主机上。
2.segment通过rest接口和pxf server进行交互。
3.pxf server和外部数据通过特定connector进行交互。

三.编译

1.源码(这里采用5.14版本)
开源协议:Apache-2.0 License
https://github.com/greenplum-db/pxf/archive/release-5.13.0.zip
2.物理结构说明
1)cli
pxf的命令行工具,go语言开发主要基于github.com/spf13/cobra。
2)server
pxf的服务,Java语言开发,gradle编译打包成war,运行于tomcat中。
3. 基于容器编译
1)容器启动
#docker run -td -v ~/workspace/gpdb:/home/gpadmin/gpdb_src --privileged --security-opt seccomp:unconfined -i pivotaldata/gpdb6-centos7-build:latest /usr/sbin/init
2)依赖包安装
#yum install -y openssl openssh-server
#yum install openssh*
#yum install python-devel
#yum instal

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值