postgresql数据库使用Citus实现集群

citus是PostgreSQL数据库中的一种轻量级的分库分表解决方案。citus不是一个单独的程序，它是PostgreSQL数据库中的一个插件，可以使用create extension安装此插件。 
每个citus集群有多个PostgreSQL数据库实例组成，数据库实例分为两类：

• master节点，通常有一台。master节点只存储分库分表的元数据，不存储实际的数据。
• worker节点，通常有多台。worker节点存储实际的分片数据(shard)。

测试系统为debain系统，安装postgresql 使用apt安装：apt-get install postgresql   

本人安装成功后版本为9.6，接下来安装citus扩展，可以使用源码编译安装，也可以用apt进行安装，安装时注意citus版本与postgresql数据版本的对应。

使用apt安装：apt-get install postgresql-9.6-citus

这样citus安装成功。。

测试环境：主服务器（Coordinator）192.168.10.12   节点服务器（worker1）192.168.10.14

 节点服务器（worker2）192.168.10.17

所有服务器postgresql配置允许远程访问。

pg_hba.conf配置如下 ：

12服务器：host    all             all             192.168.10.0/24            md5

节点服务器：host    all             all             192.168.10.0/24           trust

注意节点服务器最后不能配置md5方式，只能使用trust无密码验证方式，防火墙需要打开5432端口。

postgresql.conf配置如下：

所有服务器加入：shared_preload_libraries = 'citus' 

配置完成，重启数据库。

以下为所有服务器相同配置：

1、登录postgres，进入psql

       su postgres 

       psql

2、为当前数据库添加扩展库：

      CREATE EXTENSION citus;

如新建了数据库名称为：TestColony

       切换到数据库TestColony:   \c TestColony   切换到对应数据库后执行以上添加扩展库命令。

3、为Coordinator添加子节点。

SELECT * from master_add_node('192.168.10.14', 5432);

SELECT * from master_add_node('192.168.10.17', 5432);

4、查看节点是否添加成功。

SELECT * FROM master_get_active_worker_nodes();

如上图节点添加成功。

 

测试集群：

1、创建表

create table test_table(id int, name varchar(16));

2、表分片

SELECT master_create_distributed_table('test_table', 'id', 'hash');

3、设定分片个数(2)及每个分片副本数(2)

SELECT master_create_worker_shards('test_table', 2, 2);

4、创建完成后，可以在子节点看到分片后的数据表如下：

Coordinator中数据表如下图：

当向test_table表中插入数据时可以看到子节点分片表中也同时会有数据。

5、查看执行计划：

可以看到在查询test_table数据时，实际上是从14 子节点进行数据查询，通过merge_job的任务将分片表进行合并查询。

6、当worker1服务器关闭或者断电时，对表test_table插入数据，此时worker2服务器数据同步正常，当worker1服务器

重启启动后，发现数据与worker2数据不一致的情况 。可以通过如下命令查询变化情况：

SELECT * from pg_dist_shard_placement order by shardid, placementid;

将14数据库关闭，对表test_table插入数据结果如下图：

17数据库同步正常：

标红为插入数据

现在启动14 workder1数据库：service postgresql start

可以看到修改后的数据并未进行同步。

通过命令：SELECT * from pg_dist_shard_placement order by shardid, placementid;

结果如下图：

标红处是修改数据库，关闭14数据库后的查询，通过对比可以看到：

当shardstate为1时，数据同步正常，当shardstate为3时数据同步异常。

通过以复制分片方式对数据进行同步如下：

SELECT master_copy_shard_placement(102010, '192.168.10.17', 5432, '192.168.10.14', 5432);

命令执行后再次查询结果如下：

查看14数据库数据：

同步成功