Postgres-XL测试

最新推荐文章于 2022-06-19 10:42:57 发布
最新推荐文章于 2022-06-19 10:42:57 发布
阅读量5k 收藏 1
点赞数
分类专栏： Pg 文章标签： postgres-xl xl postgresql pg
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/lianshunke/article/details/38979711
版权



GTM-Proxy的作用：

GTM-Proxy is not a mandatory component of Postgres-XL cluster but it can be used to group messages between GTM and cluster nodes, reducing workload and the number of packages exchanged through network.

  

 项目由来：

In 2010, NTT's Open Source Software Center approached EnterpriseDB to build off of NTT OSSC's experience with a project called RitaDB and EnterpriseDB's experience with a project called GridSQL, and the result was a new project, Postgres-XC.

In 2012, a company called StormDB was formed with some of the original key Postgres-XC developers. StormDB added enhancements, including MPP parallelism for performance and multi-tenant security.

In 2013, TransLattice acquired StormDB, and in 2014, open sourced it as Postgres-XL.

 

PostgreSQL、Postgres-XC、Postgres-XL之间的区别：

 

 


启动集群的顺序:

gtm

gtm_standby

gtm_proxy

datanode

coordinator

 

 

关闭集群的顺序:

coordinator

datanode

gtm_proxy

gtm_standby

gtm

 

 

 

 IP、HostName设置：

# vi /etc/hosts
192.168.100.160 gtm
192.168.100.161 node1
192.168.100.162 node2

 

 

 

编译安装

# yum install -y flex bison readline-devel zlib-devel openjade docbook-style-dsssl
# wget http://jaist.dl.sourceforge.net/project/postgres-xl/Releases/Version_9.2rc/postgres-xl-v9.2-src.tar.gz
# tar -zxvf postgres-xl-v9.2-src.tar.gz
# cd postgres-xl
# ./configure --prefix=/opt/pgxl
# make
# make install

 

创建用户：

# useradd postgres

设置环境变量：

# su - postgres
$ vi .bash_profile
export PGHOME=/opt/pgxl
export PGUSER=postgres
export LD_LIBRARY_PATH=$PGHOME/lib
export PATH=$PGHOME/bin:$PATH

 

初始化

在gtm节点上执行：

[root@gtm ~]# mkdir /opt/pgxl/data_gtm
[root@gtm ~]# chown postgres:postgres /opt/pgxl/data_gtm/
[root@gtm ~]# su - postgres
[postgres@gtm ~]$ initgtm -D /opt/pgxl/data_gtm/ -Z gtm

 

 

 

在node1上执行：

[root@node1 ~]# mkdir -p /opt/pgxl/data/data_gtm_proxy
[root@node1 ~]# mkdir -p /opt/pgxl/data/data_coord1
[root@node1 ~]# mkdir -p /opt/pgxl/data/data_datanode1
[root@node1 ~]# chown -R postgres:postgres /opt/pgxl/data/
[root@node1 ~]# su - postgres
[postgres@node1 ~]$ initdb -D /opt/pgxl/data/data_coord1/ --nodename coord1
[postgres@node1 ~]$ initdb -D /opt/pgxl/data/data_datanode1/ --nodename datanode1
[postgres@node1 ~]$ initgtm -D /opt/pgxl/data/data_gtm_proxy/ -Z gtm_proxy

 

 

在node2上执行：

[root@node2 ~]# mkdir -p /opt/pgxl/data/data_gtm_proxy
[root@node2 ~]# mkdir -p /opt/pgxl/data/data_coord2
[root@node2 ~]# mkdir -p /opt/pgxl/data/data_datanode2
[root@node2 ~]# chown -R postgres:postgres /opt/pgxl/data/
[root@node2 ~]# su - postgres
[postgres@node2 ~]$ initdb -D /opt/pgxl/data/data_coord2/ --nodename coord2
[postgres@node2 ~]$ initdb -D /opt/pgxl/data/data_datanode2/ --nodename datanode2
[postgres@node2 ~]$ initgtm -D /opt/pgxl/data/data_gtm_proxy/ -Z gtm_proxy

 

 

 

配置

gtm配置

gtm：

[postgres@gtm ~]$ vi /opt/pgxl/data_gtm/gtm.conf
nodename = 'gtm'
listen_addresses = '*'
port = 6666
startup = ACT
keepalives_idle = 60
keepalives_interval = 10
keepalives_count = 10
log_file = 'gtm.log'
log_min_messages = WARNING

 

gtm_proxy配置

node1：

[postgres@node1 ~]$ vi /opt/pgxl/data/data_gtm_proxy/gtm_proxy.conf
nodename = 'gtm_proxy1'
listen_addresses = '*'
port = 6661
worker_threads = 1
gtm_host = 'gtm'
gtm_port = 6666
gtm_connect_retry_interval = 5
keepalives_idle = 60
keepalives_interval = 10
keepalives_count = 10
log_file = 'gtm_proxy1.log'
log_min_messages = WARNING

node2：

[postgres@node2 ~]$ vi /opt/pgxl/data/data_gtm_proxy/gtm_proxy.conf
nodename = 'gtm_proxy2'
listen_addresses = '*'
port = 6662
worker_threads = 1
gtm_host = 'gtm'
gtm_port = 6666
gtm_connect_retry_interval = 5
keepalives_idle = 60
keepalives_interval = 10
keepalives_count = 10
log_file = 'gtm_proxy2.log'
log_min_messages = WARNING

 

coordinator配置

node1：

[postgres@node1 ~]$ vi /opt/pgxl/data/data_coord1/postgresql.conf
listen_addresses = '*'
port = 5432
pooler_port = 6667
max_pool_size = 100
pool_conn_keepalive = 600
pool_maintenance_timeout = 30
max_coordinators = 16
max_datanodes = 16
gtm_host = 'localhost'
gtm_port = 6661
pgxc_node_name = 'coord1'
 
[postgres@node1 ~]$ vi /opt/pgxl/data/data_coord1/pg_hba.conf
[添加]
host    all             all             192.168.100.0/24        trust

node2：

[postgres@node2 ~]$ vi /opt/pgxl/data/data_coord1/postgresql.conf
listen_addresses = '*'
port = 5432
pooler_port = 6667
max_pool_size = 100
pool_conn_keepalive = 600
pool_maintenance_timeout = 30
max_coordinators = 16
max_datanodes = 16
gtm_host = 'localhost'
gtm_port = 6662
pgxc_node_name = 'coord2'
 
[postgres@node2 ~]$ vi /opt/pgxl/data/data_coord1/pg_hba.conf
[添加]
host    all             all             192.168.100.0/24        trust

 

 

 

 

datanode配置

node1：

[postgres@node1 ~]$ vi /opt/pgxl/data/data_datanode1/postgresql.conf
listen_addresses = '*'
port = 15432
pooler_port = 6668
max_pool_size = 100
pool_conn_keepalive = 600
pool_maintenance_timeout = 30
max_coordinators = 16
max_datanodes = 16
gtm_host = 'localhost'
gtm_port = 6661
pgxc_node_name = 'datanode1'
 
[postgres@node1 ~]$ vi /opt/pgxl/data/data_coord1/pg_hba.conf
[添加]
host    all             all             192.168.100.0/24        trust

 

node2：

[postgres@node1 ~]$ vi /opt/pgxl/data/data_datanode1/postgresql.conf
listen_addresses = '*'
port = 15432
pooler_port = 6668
max_pool_size = 100
pool_conn_keepalive = 600
pool_maintenance_timeout = 30
max_coordinators = 16
max_datanodes = 16
gtm_host = 'localhost'
gtm_port = 6662
pgxc_node_name = 'datanode2'
 
[postgres@node1 ~]$ vi /opt/pgxl/data/data_coord1/pg_hba.conf
[添加]
host    all             all             192.168.100.0/24        trust

 

启动

启动gtm

[postgres@gtm ~]$ gtm_ctl start -Z gtm -D /opt/pgxl/data_gtm/
server starting
 
[postgres@gtm ~]$ tail /opt/pgxl/data_gtm/gtm.log 
1:140169430058752:2014-06-12 07:51:17.652 CST -LOG:  Starting GTM server at (*:6666) -- control file /opt/pgxl/data_gtm/gtm.control
LOCATION:  main, main.c:601
1:140169430058752:2014-06-12 07:51:17.652 CST -LOG:  Restoring last GXID to 10000
       
LOCATION:  GTM_RestoreTxnInfo, gtm_txn.c:2673
1:140169430058752:2014-06-12 07:51:17.652 CST -LOG:  Started to run as GTM-Active.
LOCATION:  main, main.c:682

 

启动gtm_proxy

node1：

[postgres@node1 ~]$ gtm_ctl start -Z gtm_proxy -D /opt/pgxl/data/data_gtm_proxy/
server starting
[postgres@node1 ~]$ tail /opt/pgxl/data/data_gtm_proxy/gtm_proxy1.log 
1:139860198487808:2014-06-12 07:53:59.665 CST -LOG:  Starting GTM proxy at (*:6661)
LOCATION:  main, proxy_main.c:805

node2：

[postgres@node2 ~]$ gtm_ctl start -Z gtm_proxy -D /opt/pgxl/data/data_gtm_proxy/
server starting
[postgres@node2 ~]$ tail /opt/pgxl/data/data_gtm_proxy/gtm_proxy2.log 
1:140266037184256:2014-06-12 07:54:16.440 CST -LOG:  Starting GTM proxy at (*:6662)
LOCATION:  main, proxy_main.c:805

启动datanode

node1：

[postgres@node1 ~]$ pg_ctl start -Z datanode -D /opt/pgxl/data/data_datanode1/

 

node2：

[postgres@node2 ~]$ pg_ctl start -Z datanode -D /opt/pgxl/data/data_datanode2/

 

启动coordinator

node1：

[postgres@node1 ~]$ pg_ctl start -Z coordinator -D /opt/pgxl/data/data_coord1/

node2：

[postgres@node2 ~]$ pg_ctl start -Z coordinator -D /opt/pgxl/data/data_coord2/

 

 

 

注册节点信息

查看当前节点信息：

[postgres@node1 ~]$ psql -p 5432 -c "select * from pgxc_node"
 node_name | node_type | node_port | node_host | nodeis_primary | nodeis_preferred |  node_id   
-----------+-----------+-----------+-----------+----------------+------------------+------------
 coord1    | C         |      5432 | localhost | f              | f                | 1885696643
(1 row)
 
[postgres@node2 ~]$ psql -p 5432 -c "select * from pgxc_node"
 node_name | node_type | node_port | node_host | nodeis_primary | nodeis_preferred |   node_id   
-----------+-----------+-----------+-----------+----------------+------------------+-------------
 coord2    | C         |      5432 | localhost | f              | f                | -1197102633
(1 row)

执行注册

node1：

[postgres@node1 ~]$ psql -p 5432 -c "CREATE NODE coord2 WITH (TYPE='coordinator',HOST='node2',PORT=5432)"
CREATE NODE
[postgres@node1 ~]$ psql -p 5432 -c "CREATE NODE datanode1 WITH (TYPE='datanode',HOST='node1',PORT=15432)"
CREATE NODE
[postgres@node1 ~]$ psql -p 5432 -c "CREATE NODE datanode2 WITH (TYPE='datanode',HOST='node2',PORT=15432)"
CREATE NODE

 

查看：

[postgres@node1 ~]$ psql -p 5432 -c "select * from pgxc_node"
 node_name | node_type | node_port | node_host | nodeis_primary | nodeis_preferred |   node_id   
-----------+-----------+-----------+-----------+----------------+------------------+-------------
 coord1    | C         |      5432 | localhost | f              | f                |  1885696643
 coord2    | C         |      5432 | node2     | f              | f                | -1197102633
 datanode1 | D         |     15432 | node1     | f              | f                |   888802358
 datanode2 | D         |     15432 | node2     | f              | f                |  -905831925
(4 rows)

 

重新加载：

[postgres@node1 ~]$ psql -p 5432 -c "select pgxc_pool_reload()"
 pgxc_pool_reload 
------------------
 t
(1 row)

 

node2：

[postgres@node2 ~]$ psql -p 5432 -c "CREATE NODE coord1 WITH (TYPE='coordinator',HOST='node1',PORT=5432)"
CREATE NODE
[postgres@node2 ~]$ psql -p 5432 -c "CREATE NODE datanode1 WITH (TYPE='datanode',HOST='node1',PORT=15432)"
CREATE NODE
[postgres@node2 ~]$ psql -p 5432 -c "CREATE NODE datanode2 WITH (TYPE='datanode',HOST='node2',PORT=15432)"
CREATE NODE

 

查看：

[postgres@node2 ~]$ psql -p 5432 -c "select * from pgxc_node"
 node_name | node_type | node_port | node_host | nodeis_primary | nodeis_preferred |   node_id   
-----------+-----------+-----------+-----------+----------------+------------------+-------------
 coord2    | C         |      5432 | localhost | f              | f                | -1197102633
 coord1    | C         |      5432 | node1     | f              | f                |  1885696643
 datanode1 | D         |     15432 | node1     | f              | f                |   888802358
 datanode2 | D         |     15432 | node2     | f              | f                |  -905831925
(4 rows)

 

重新加载：

[postgres@node2 ~]$ psql -p 5432 -c "select pgxc_pool_reload()"
 pgxc_pool_reload 
------------------
 t
(1 row)

 

 

 BUG

create table t1(id int,name text) distribute by hash(id) to group group1;
 
 
create table t2(id int primary key,name text) distribute by hash(id) to group group1;
 
 
 
test=# create database pgxc;
LOG:  Will fall back to local snapshot for XID = 19764, source = 0,
gxmin = 0, autovac launch = 0, autovac = 0, normProcMode = 0, postEnv = 1
ERROR:  node "coord1_19791" does not exist
STATEMENT:  SET global_session TO coord1_19791;
ERROR:  node "coord1_19791" does not exist
STATEMENT:  SET global_session TO coord1_19791;
CREATE DATABASE
 
test=# create table t1(id int,name text) distribute by hash(id) to group
group1;
ERROR:  node "coord1_19791" does not exist
STATEMENT:  SET global_session TO coord1_19791;
ERROR:  node "coord1_19791" does not exist
STATEMENT:  SET global_session TO coord1_19791;
CREATE TABLE
 
test=# insert into t1 values (1,'a');
LOG:  Will fall back to local snapshot for XID = 19544, source = 0,
gxmin = 0, autovac launch = 0, autovac = 0, normProcMode = 0, postEnv = 1
ERROR:  node "coord1_19791" does not exist
STATEMENT:  SET global_session TO coord1_19791;
INSERT 0 0

 

 

 

问题汇总

Q1

'/usr/bin/perl' /bin/collateindex.pl -f -g -i 'bookindex' -o bookindex.sgml HTML.index
Can't open perl script "/bin/collateindex.pl": No such file or directory
make[4]: *** [bookindex.sgml] Error 2
make[4]: Leaving directory `/root/postgres-xl/doc-xc/src/sgml'
make[3]: *** [sql_help.h] Error 2
make[3]: Leaving directory `/root/postgres-xl/src/bin/psql'
make[2]: *** [all-psql-recurse] Error 2
make[2]: Leaving directory `/root/postgres-xl/src/bin'
make[1]: *** [all-bin-recurse] Error 2
make[1]: Leaving directory `/root/postgres-xl/src'
make: *** [all-src-recurse] Error 2

 

解决方式：

# yum install docbook-style-dsssl
# find / -name collateindex.pl
/usr/bin/collateindex.pl

 

 

 

 

 

 

 

 

say_again
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
专栏目录
Postgresql-xl 调研
oblesslyy的专栏
12-27 2870
Postgresql-xl 调研 来历 这个项目的背后是一家叫做stormDB的公司。整个代买基于postgres-xc。开源版本应该是stormdb的一个分支。 In 2010, NTT's Open Source Software Center approached EnterpriseDB to build off of NTT OSSC's experience wit
Postgres-XL介绍
热门推荐
在路上的学习者
10-09 1万+
“沉默即赞同” —— 无名 一、什么是Postgres-XLXL的意思是：eXtensible Lattice，可以扩展的格子，即将PostgreSQL应用在多机器上的分布式数据库的形象化表达。Postgres-XL 是一个完全满足ACID的、开源的、可方便进行水平扩展的、多租户安全的、基于PostgreSQL的数据库解决方案。
Postgres-XL概述
weixin_33845881的博客
12-25 332
2019独角兽企业重金招聘Python工程师标准>>> ...
Postgres-XL源码安装包
08-01
Postgres-XL源码安装包 用法详见博客文章： https://blog.csdn.net/fm0517/article/details/81329309
Postgres-XL集群部署文档2022.docx
03-12
Postgres的-XL是一个基于PostgreSQL数据库的横向扩展开源SQL数据库集群，具有足够的灵活性来处理不同的数据库工作负载：完全ACID、保持事务一致性、OLTP 写频繁的业务、需要MPP并行性商业智能/大数据分析。
postgres-xl集群资料
04-20
postgres-XL分布式集群的开发手册和部署文档，亲测可用
Postgres-XL集群.pdf
09-18
Postgres-XL集群.pdf
Postgres-XL集群修炼之路—主流MPP解决方案
10-29
给大家分享一套课程——Postgres-XL集群修炼之路—主流MPP解决方案，完整版。 Postgres-XL是开源的postgresql集群，是由多个独立的PostgreSQL实例组成，它们分布在不同的物理（或虚拟）主机上协同工作，呈现给用户...
Postgres-XL安装使用说明
01-23
Postgres-XL安装使用说明，在Centos 6.4下进行Postgres-XL安装
postgres-xl数据库集群安装部署说明手册
01-30
postgres-xl9.5数据库集群安装部署说明手册 包括：安装环境说明、依赖项说明、以及postgres-xl数据库编译说明、节点划分说明、以及手动方式部署启动集群及使用验证；自动方式部署启动集群等。
POSTGRESQL Postgres-XL 了解一下
sql server的专栏
08-12 649
上次分析的POSTGRES -XC 的结构,实际上POSTGRES-X 系列一直在发展,POSTGRES除了 XC 还有XL 的高可用的结构.Postgres-XL 是一款Postgr...
Postgres-XL9.5集群安装与配置
闫不由衷的专栏
03-02 5405
Postgres-XL9.5集群安装与配置 1、准备 1）准备主机 准备3台主机，安装centos6.2 10.1.235.19 (gtm coordinator) 10.1.235.21 (datanode) 10.1.235.22 (datanode) 在这3台机器上创建用户pgxl，将编译好的Postgres-XL9.5文件分发到3台服务器，并解压 2）配置环境变量 vi
postgres-xl 分析问题
晨风
09-25 783
       周末在分析一个postgres-xl 问题， 本来该在coordiantor上执行的函数，从执行计划看出下推到一个datanode上执行，这样做也是没问题的，只不过下推到datanode上执行，涉及一个重分布问题；但是在datanode上执行返回coordinator却是空。感觉postgres-xl 针对这一类sql 应该都有问题，写了几个sql做测试，均存在这个问题。postgr...
Postgres-XL集群的搭建
在路上的学习者
10-09 5998
“如果你惟一的工具是一把锤子，你往往会把一切问题看成钉子” —— 无名 集群规划建立5个虚拟机构成的集群，虚拟机的os均为centos6.5，依次命名为cnode1，cnode2，cnode3，cnode4，cnode5，其中cnode1为gtm，其余4个节点均为coordinator和datanode。
Postgres-XL 10 使用介绍（一）
driftingman的专栏
06-19 799
Postgres-XL 是一个基于PostgreSQL的一个开源项目,在此基础上提供可扩展的写入操作和大批量的并行处理.并且它是一个数据库组件集合体,可以将其安装在多个操作系统或虚拟机上.
Postgres-XL集群的搭建和测试详解
牧海归来
06-05 1万+
Postgres-XL集群的搭建和测试详解 CentOS6.5 192.168.0.101 CentOS6.5 192.168.0.102 CentOS6.5 192.168.0.103 CentOS6.5 192.168.0.104 一、主机规划 cnode1 (gtm) cnode2 (gtm_proxy,coordinator,datanode) cnode3 (gtm_pr
PostgreSQL Postgres-XL GTM 到底是干什么的
sql server的专栏
08-27 448
POSTGRES-XL 中的GTM 掌管着整体的集群中的事务,在单机中每个事务通过xmin,xmax在单表实现事务控制的功能转移到了POSTGRES-XL 中的GTM组件中,GTM 收集所...
postgres-xl集群手动配置
最新发布
12-18
Postgres-XL是一个强大的分布式数据库集群，可以在大规模数据环境中提供高可用性和高性能。使用Postgres-XL集群，您可以将数据分布在多个节点上，并平衡负载以提高系统吞吐量。 手动配置Postgres-XL集群需要以下...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值