SequoiaDB的PostgreSQL实例管理

最新推荐文章于 2021-01-28 02:51:16 发布
最新推荐文章于 2021-01-28 02:51:16 发布
阅读量413 收藏
点赞数
分类专栏： 实习 文章标签： 数据库
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u013721254/article/details/106275278
版权

PostgerSQL实例的创建：
创建pg实例：/opt/sequoiasql/postgresql/bin/sdb_sql_ctl addinst myinst -D database/5432/
在这里插入图片描述
在这里插入图片描述

启动实例：/opt/sequoiasql/postgresql/bin/sdb_sql_ctl start myinst
在SequoiaDB中创建集合空间和集合：
创建 company_domain 数据域：db.createDomain("company_domain", [ "group1", "group2", "group3" ], { AutoSplit: true } );
创建 company 集合空间：db.createCS("company", { Domain: "company_domain" } );
创建 employee 集合: db.company.createCL("employee", { "ShardingKey": { "_id": 1 }, "ShardingType": "hash", "ReplSize": -1, "Compressed": true, "CompressionType": "lzw", "AutoSplit": true, "EnsureShardingIndex": false } );
在 PostgreSQL 实例创建数据库 company: /opt/sequoiasql/postgresql/bin/sdb_sql_ctl createdb company myinst
查看数据库：/opt/sequoiasql/postgresql/bin/psql -l
配置PostgreSQL实例：
加载SequoiaDB连接驱动：
登录到 PostgreSQL 实例 Shell: /opt/sequoiasql/postgresql/bin/psql -p 5432 company
加载 SequoiaDB 连接驱动: CREATE EXTENSION sdb_fdw;
配置与 SequoiaDB 连接参数
在 PostgreSQL 实例中配置 SequoiaDB 连接参数：

CREATE SERVER sdb_server FOREIGN DATA WRAPPER sdb_fdw 
OPTIONS 
(
address '127.0.0.1', 
service '11810', 
user '', 
password '', 
preferedinstance 'A', 
transaction 'on' 
);

在这里插入图片描述
创建employee表：

CREATE FOREIGN TABLE employee 
(
empno INT,
ename VARCHAR(128),
age INT
) 
SERVER sdb_server
OPTIONS ( collectionspace 'company', collection 'employee', decimal 'on' );

在这里插入图片描述
注意事项1，注意事项2

PG实例操作与事务管理：
检查 PostgreSQL 实例进程：/opt/sequoiasql/postgresql/bin/sdb_sql_ctl listinst
在SequoiaDB中创建集合空间和集合：
创建 company_domain 数据域：db.createDomain("company_domain", [ "group1", "group2", "group3" ], { AutoSplit: true } );
创建 company 集合空间：db.createCS("company", { Domain: "company_domain" } );
创建 employee 集合: db.company.createCL("employee", { "ShardingKey": { "_id": 1 }, "ShardingType": "hash", "ReplSize": -1, "Compressed": true, "CompressionType": "lzw", "AutoSplit": true, "EnsureShardingIndex": false } );
创建manager集合：db.company.createCL("manager", { "ShardingKey": { "empno": 1 }, "ShardingType": "hash", "ReplSize": -1, "Compressed": true, "CompressionType": "lzw", "AutoSplit": true, "EnsureShardingIndex": false } );
在这里插入图片描述
配置PostgreSQL实例：
加载SequoiaDB连接驱动：
登录到 PostgreSQL 实例 Shell: /opt/sequoiasql/postgresql/bin/psql -p 5432 company
加载 SequoiaDB 连接驱动: CREATE EXTENSION sdb_fdw;
配置与 SequoiaDB 连接参数
在 PostgreSQL 实例中配置 SequoiaDB 连接参数：

CREATE SERVER sdb_server FOREIGN DATA WRAPPER sdb_fdw 
OPTIONS 
(
address '127.0.0.1', 
service '11810', 
user '', 
password '', 
preferedinstance 'A', 
transaction 'on' 
);

在这里插入图片描述
创建employee表：

CREATE FOREIGN TABLE employee 
(
empno INT,
ename VARCHAR(128),
age INT
) 
SERVER sdb_server
OPTIONS ( collectionspace 'company', collection 'employee', decimal 'on' );

创建manager表：

CREATE FOREIGN TABLE manager 
(
empno INTEGER,
department TEXT
) 
SERVER sdb_server
OPTIONS ( collectionspace 'company', collection 'manager', decimal 'on' );

事务管理：
验证回滚能力：
开始事务：begin;
写入数据：INSERT INTO manager VALUES (2, 'Product Department');
回滚事务操作：rollback;

验证提交能力：
开始事务：begin;
写入数据：INSERT INTO manager VALUES (2, 'Product Department');
提交事务操作：commit;;

查看 PostgreSQL 是否打开事务功能：\des+ sdb_server;
在这里插入图片描述操作截图中 transaction 的参数值为 on，说明 PostgreSQL 的事务功能已经打开。

关闭PostgreSQL事务功能：ALTER SERVER sdb_server OPTIONS ( SET transaction 'off' );

创建视图：

CREATE VIEW manager_view AS
SELECT
 e.ename, m.department
FROM
 employee AS e, manager AS m
WHERE 
 e.empno = m.empno;

查询视图数据：SELECT * FROM manager_view;

创建自定义函数：

CREATE OR REPLACE FUNCTION totalRecords () RETURNS INTEGER AS $total$
DECLARE
    total INTEGER;
BEGIN
    SELECT COUNT(*) INTO total FROM employee;
RETURN total;
END;
$total$ language plpgsql;

调用函数：SELECT totalRecords();

PG数据导入导出
创建 company_domain 数据域：db.createDomain("company_domain", [ "group1", "group2", "group3" ], { AutoSplit: true } );
创建 company 集合空间：db.createCS("company", { Domain: "company_domain" } );
创建 employee 集合: db.company.createCL("employee", { "ShardingKey": { "_id": 1 }, "ShardingType": "hash", "ReplSize": -1, "Compressed": true, "CompressionType": "lzw", "AutoSplit": true, "EnsureShardingIndex": false } );
写入测试数据：

for (var i = 0; i < 1000; i++) 
{ 
db.company.employee.insert( { "empno": i, "ename": "TEST", "age": 20 } ) 
};

在PostgreSQL实例创建数据库company：/opt/sequoiasql/postgresql/bin/sdb_sql_ctl createdb company myinst
配置PostgreSQL实例：
加载SequoiaDB连接驱动：
登录到 PostgreSQL 实例 Shell: /opt/sequoiasql/postgresql/bin/psql -p 5432 company
加载 SequoiaDB 连接驱动: CREATE EXTENSION sdb_fdw;
配置与 SequoiaDB 连接参数
在 PostgreSQL 实例中配置 SequoiaDB 连接参数：

CREATE SERVER sdb_server FOREIGN DATA WRAPPER sdb_fdw 
OPTIONS 
(
address '127.0.0.1', 
service '11810', 
user '', 
password '', 
preferedinstance 'A', 
transaction 'on' 
);

在这里插入图片描述创建employee表：

CREATE FOREIGN TABLE employee 
(
empno INT,
ename VARCHAR(128),
age INT
) 
SERVER sdb_server
OPTIONS ( collectionspace 'company', collection 'employee', decimal 'on' );

数据导出：
通过COPY（SELECT）命令将外部表employee的数据导出为.csv
导出数据到.csv文件：COPY (SELECT * FROM employee) TO '/opt/sequoiasql/postgresql/employee.csv' with delimiter ',' csv;
查看 csv 文件内容: \! more /opt/sequoiasql/postgresql/employee.csv
!前包含反斜线“\”，退出查看按 ctrl + c

数据导入：
清空 employee 集合内数据：db.company.employee.truncate();
通过 sdbimprt 工具从备份文件中恢复数据到 employee 数据集合中：sdbimprt --hosts=localhost:11810 --type=csv --file=/opt/sequoiasql/postgresql/employee.csv --fields="empno int, ename string, age int" -c company -l employee

PG执行计划
创建 company_domain 数据域：db.createDomain("company_domain", [ "group1", "group2", "group3" ], { AutoSplit: true } );
创建 company 集合空间：db.createCS("company", { Domain: "company_domain" } );
创建 employee 集合: db.company.createCL("employee", { "ShardingKey": { "_id": 1 }, "ShardingType": "hash", "ReplSize": -1, "Compressed": true, "CompressionType": "lzw", "AutoSplit": true, "EnsureShardingIndex": false } );
创建 manager 集合：db.company.createCL("manager", { "ShardingKey": { "empno": 1 }, "ShardingType": "hash", "ReplSize": -1, "Compressed": true, "CompressionType": "lzw", "AutoSplit": true, "EnsureShardingIndex": false } );
employee写入测试数据：

for (var i = 0; i < 1000; i++) 
{ 
db.company.employee.insert( { "empno": i, "ename": "TEST", "age": 20 } ) 
};

manager写入测试数据

for (var i = 0; i < 1000; i++) 
{ 
db.company.manager.insert( { "empno": i, "department": "Sales Department" } );
}

显示访问计划(explain select * from employee where empno = 1):
db.company.employee.find( { "empno": 1 } ).explain( { "Run": true } );
在 employee 表的 empno 字段上创建唯一索引: db.company.employee.createIndex("empno_Idx", { "empno": 1 }, true );

在PostgreSQL实例创建数据库company：/opt/sequoiasql/postgresql/bin/sdb_sql_ctl createdb company myinst
配置PostgreSQL实例：
加载SequoiaDB连接驱动：
登录到 PostgreSQL 实例 Shell: /opt/sequoiasql/postgresql/bin/psql -p 5432 company
加载 SequoiaDB 连接驱动: CREATE EXTENSION sdb_fdw;
配置与 SequoiaDB 连接参数
在 PostgreSQL 实例中配置 SequoiaDB 连接参数：

CREATE SERVER sdb_server FOREIGN DATA WRAPPER sdb_fdw 
OPTIONS 
(
address '127.0.0.1', 
service '11810', 
user '', 
password '', 
preferedinstance 'A', 
transaction 'on' 
);

在这里插入图片描述创建employee表：

CREATE FOREIGN TABLE employee 
(
empno INT,
ename VARCHAR(128),
age INT
) 
SERVER sdb_server
OPTIONS ( collectionspace 'company', collection 'employee', decimal 'on' );

创建 employee2 表（把 pushdownsort 和 pushdownlimit 参数设置为关闭）：

CREATE FOREIGN TABLE employee2 
(
empno INT,
ename VARCHAR(128),
age INT
) 
SERVER sdb_server
OPTIONS ( collectionspace 'company', collection 'employee', decimal 'on', pushdownsort 'off', pushdownlimit 'off' );

创建manager表：

CREATE FOREIGN TABLE manager 
(
empno INTEGER,
department TEXT
) 
SERVER sdb_server
OPTIONS ( collectionspace 'company', collection 'manager', decimal 'on' );

更新表的统计信息：

ANALYZE employee;
ANALYZE employee2;
ANALYZE manager;

在这里插入图片描述在 PostgreSQL 中执行条件查询语句，并查看执行计划: EXPLAIN ANALYZE SELECT * FROM employee a INNER JOIN manager b ON a.empno = b.empno WHERE a.empno = 1;
在这里插入图片描述
在这里插入图片描述在 PostgreSQL 中执行分页查询语句，并查看执行计划:

EXPLAIN ANALYZE SELECT * FROM employee ORDER BY empno ASC LIMIT 5 OFFSET 0;
EXPLAIN ANALYZE SELECT * FROM employee2 ORDER BY empno ASC LIMIT 5 OFFSET 0;

在这里插入图片描述在这里插入图片描述
PG元数据同步
添加实例 myinst（作为主 PostgreSQL 实例）: /opt/sequoiasql/postgresql/bin/sdb_sql_ctl addinst myinst -D database/5432/ -p 5432
添加实例 myinst1（作为备 PostgreSQL 实例）: /opt/sequoiasql/postgresql/bin/sdb_sql_ctl addinst myinst1 -D database/5432/ -p 5433
在这里插入图片描述
在这里插入图片描述
配置PostgreSQL实例免密登录：
进入 sdbadmin 的 home 目录: cd /home/sdbadmin
同步工具已提前放置在 sdbadmin 的 home 目录，解压同步工具: tar xvf SsqlDisseminateDDL.tar
进入解压目录：cd SsqlDisseminateDDL
拷贝免密文件到 home 目录: cp .pgpass /home/sdbadmin/
将文件权限设置为0600: chmod 0600 /home/sdbadmin/.pgpass
进入 myinst 实例的数据目录，修改部分配置: cd /opt/sequoiasql/postgresql/database/5432
为了配合元数据同步，需要对应修改 postgresql.conf 配置文件的参数:

echo "log_destination = 'csvlog'" >> postgresql.conf
echo "logging_collector = on" >> postgresql.conf
echo "log_directory = '/opt/sequoiasql/postgresql/database/5432/pg_log'" >> postgresql.conf
echo "log_filename = 'postgresql-%Y-%m-%d_%H%M%S.log'" >> postgresql.conf
echo "log_rotation_age = 28d" >> postgresql.conf
echo "log_rotation_size = 20MB" >> postgresql.conf
echo "log_statement = 'ddl'" >> postgresql.conf

在这里插入图片描述拷贝元数据同步工具到数据目录: cp /home/sdbadmin/SsqlDisseminateDDL/SsqlDisseminateDDL ./
拷贝元数据同步工具配置到数据目录: cp /home/sdbadmin/SsqlDisseminateDDL/config ./
在这里插入图片描述
创建日志目录:

mkdir /opt/sequoiasql/postgresql/database/5432/pg_log
mkdir /opt/sequoiasql/postgresql/database/5432/log

重启myinst实例：/opt/sequoiasql/postgresql/bin/sdb_sql_ctl restart myinst
启动元数据同步工具：
元数据同步工具在启动后会一直常驻后台运行，主要用于定时解析主 PostgreSQL 实例日志中新增的 DDL 操作语句并下发到各备 PostgreSQL 实例中执行：nohup python /opt/sequoiasql/postgresql/database/5432/SsqlDisseminateDDL &
创建 company_domain 数据域：db.createDomain("company_domain", [ "group1", "group2", "group3" ], { AutoSplit: true } );
创建 company 集合空间：db.createCS("company", { Domain: "company_domain" } );
创建 employee 集合: db.company.createCL("employee", { "ShardingKey": { "_id": 1 }, "ShardingType": "hash", "ReplSize": -1, "Compressed": true, "CompressionType": "lzw", "AutoSplit": true, "EnsureShardingIndex": false } );
employee写入测试数据：db.company.employee.insert( { "empno": 1, "ename": "Jack", "age": 35 } );

在PostgreSQL实例创建数据库company：/opt/sequoiasql/postgresql/bin/sdb_sql_ctl createdb company myinst
配置PostgreSQL实例：
加载SequoiaDB连接驱动：
登录到 PostgreSQL 实例 Shell: /opt/sequoiasql/postgresql/bin/psql -p 5432 company
加载 SequoiaDB 连接驱动: CREATE EXTENSION sdb_fdw;
配置与 SequoiaDB 连接参数
在 PostgreSQL 实例中配置 SequoiaDB 连接参数：

CREATE SERVER sdb_server FOREIGN DATA WRAPPER sdb_fdw 
OPTIONS 
(
address '127.0.0.1', 
service '11810', 
user '', 
password '', 
preferedinstance 'A', 
transaction 'on' 
);

创建employee表：

CREATE FOREIGN TABLE employee 
(
empno INT,
ename VARCHAR(128),
age INT
) 
SERVER sdb_server
OPTIONS ( collectionspace 'company', collection 'employee', decimal 'on' );
alwaysStudy1998
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
【入门教程】PostgreSQL+SequoiaDB HA 实践
巨杉数据库技术社区
10-20 3219
【入门教程】PostgreSQL+SequoiaDB HA 实践 前言 SequoiaDB作为分布式数据库，从设计之初就已经支持SQL访问。目前，SequoiaDB自研的SQL访问组件SequoiaSQL作为企业版的功能之一已经提供给上百家企业用户使用，并且已经实现分布式架构下的SQL 2003支持。 对于SequoiaDB社区版用户，我们可以通过SequoiaDB对接Postgre
【巨杉数据库SequoiaDB】PostgreSQL+SequoiaDB HA 实践
Dinosaur_1117的博客
04-24 605
前言 SequoiaDB作为分布式数据库，从设计之初就已经支持SQL访问。目前，SequoiaDB自研的SQL访问组件SequoiaSQL作为企业版的功能之一已经提供给上百家企业用户使用，并且已经实现分布式架构下的SQL 2003支持。 对于SequoiaDB社区版用户，我们可以通过SequoiaDB对接PostgreSQL 实现社区版的分布式SQL访问。这一应用方式基本也可以满足大部分的社区版需...
PostgreSQL对接SequoiaDB
weixin_33842328的博客
01-16 172
PostgreSQL是一款开源的SQL数据库，支持标准SQL，用户可以通过JDBC驱动连接PostgreSQL进行应用程序开发。用户通过扩展PostgreSQL功能，让开发者可以使用SQL语句访问SequoiaDB数据库,完成SequoiaDB数据库的增、删、查、改操作。本文就针对如何扩展PostgreSQL功能，实现PostgreSQL...
【入门教程】SequoiaDB+Postgresql数据实时检索最佳实践
weixin_34055787的博客
10-20 232
2019独角兽企业重金招聘Python工程师标准>>> ...
SequoiaDB对接PosgreSQL
开染坊的白猫
03-04 340
部署PosgreSQL SequoidDB目前只支持9.3.4版本的PosgreSQL 安装readline和zlib依赖 Ubuntu:apt-get install libreadline6-dev apt-get install zliblg-dev RedHat:yum install zlib-devel readline-devel 创建安装目录 mkdir -p /opt...
SequoiaDB巨杉数据库整体框架.pdf
01-08
SequoiaDB支持包括MySQL、MariaDB、PostgreSQL、SparkSQL等结构化数据实例，也支持MongoDB实例来处理JSON格式的半结构化数据，同时还有支持S3和POSIX文件系统的对象存储实例。这种多协议、多模型的支持，使得用户...
新一代分布式数据库SequoiaDB介绍.pptx
10-14
- 分布式数据库如SequoiaDB适应微服务，每个服务对应独立实例，物理分散存储，逻辑集中管理。 4. **分布式数据库技术对比** - **垂直分库**：早期的分库策略，深度定制化，但应用程序需要进行大量定制。 - **分...
PB级多源异构数据管理实践.pdf
10-14
SequoiaDB 提供了对ACID（原子性、一致性、隔离性和持久性）的支持，确保事务处理的可靠性，同时其SQL完整支持和对MySQL/PostgreSQL语法的兼容性满足了OLTP（在线事务处理）需求。此外，SequoiaDB 还引入了多模...
巨衫数据库在K1 Powerlinux的压力测试.docx
12-21
它支持MySQL、PostgreSQL、SparkSQL的关系型数据库实例，以及类MongoDB的JSON文档类数据库和S3对象存储及POSIX文件系统的非结构化数据实例，满足了多样化应用需求。 压力测试是评估数据库性能的重要手段，sysbench...
新一代NewSQL数据库架构与实现.pptx
10-14
【新一代NewSQL数据库架构与实现】的讲解涵盖了NewSQL数据库技术的发展趋势以及SequoiaDB这一...SequoiaDB作为NewSQL数据库的实例，展示了如何在保证数据一致性和高性能的同时，提供灵活的数据处理能力和云原生的架构。
SequoiaDB快速入门
04-23
SequoiaDB快速入门帮助文档
SDB与PG对接
qq_40207018的博客
07-15 215
完成PostgreSQL与SDB的对接。要求如下： 1.完成PostgreSQL的部署安装； 2.完成与SDB的对接； 3.从PG创建外表映射到SDB集合，验证对接是否成功； PostgreSQL的部署安装 为安装程序添加权限 cd /home/ysx/sequoiadb-3.4 chmod u+x sequoiasql-postgresql-3.4-x86_64-installer.run 运行安装程序 ./sequoiasql-postgresql-3.4-x86_64-installer.run.
巨杉数据库MySQL_【巨杉数据库SequoiaDB】巨杉Tech |巨杉数据库的HTAP场景实践
weixin_39654436的博客
01-28 427
01背景由于业务形式的发展，越来越多的需求需要对交易数据进行实时分析，例如推荐、决策、监控等，传统的处理办法是使用ETL的方式把OLTP业务产生的数据同步到OLAP的数据数据库，导致了数据需要在不同的数据库之间流转，耗费时间成本的同时需要耗费人力成本运维多套数据库产品。近年来业界开始兴起HTAP的概念，对于数据库，HTAP代表一个数据库既能支持OLTP(在线事务处理)，又能支持OLAP(在线分析处...
SequoiaDB命令行打开PostgreSQL的事务功能
开染坊的白猫
03-05 362
PostgreSQl事务 前提 先确定SequoiaDB已经开始事务功能，此次测试时，已经将11830节点，即gruop1数据组开启了事务功能。 如果未开启，可以去SequoiaDB_HOME/conf/local/11830/sdb.conf中，将transactionon=true create server sdb_server_tran foreign data wrapper sdb...
Sequoiadb对接SequoiaSql应用开发实践（二）
u014439239的博客
02-22 798
Sequoiadb是支持sql的，SequoiaSql是解析sql语言，Sequoiadb来执行SequoiaSql解析出的语言并执行相关命令，SequoiaSql相当于客户端，Sequoiadb相当于后端。用户可以通过JDBC驱动连接SequoiaSql进行应用程序开发。     之前的文章介绍了Sequoiadb对接SequoiaSql应用开发实践，本文将介绍更加简单的一种方式进行对接。以前
巨杉分布式数据库-学习笔记
AragakiNoob的博客
12-14 2993
巨杉分布式数据库-SCDA ​ 各节点介绍 ： SQL节点,关于Sql节点的补充,在官方例图中并没有显示出sql节点,结合文档个人理解是在Sql实例中的,类似c3p0这类连接池,但是SQL节点的可以直接配置MySQL，PostgreSQL 和 SparkSQL 实例,综合性强;用于实现不同数据库实例的访问,个人在操作后得知sql节点相当于没有接入sdbsql驱动的数据库实例; 协调节点进行数据路由,不存储任何用户数据。作为外部访问的接入与请求分发节点，协调节点将用户请求分发至相应的数 据节点，最终合
【最佳实践】分布式数据库对接开源监控软件
巨杉数据库技术社区
02-06 4474
Grafana+InfluxDB+Telegraf+SequoiaDB Grafana作为一款强大的开源的监控软件，可以进行灵活的报表定制与性能监控。用户可以通过时序数据库InfluxDB作为数据源为Grafana提供性能监控数据，同时使用Telegraf作为性能数据采集工具从SequoiaDB中定时采集性能指标，已达到准实时性能监控的目的。 整个框架的搭建非常简单，
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值