Citus集群拓扑架构介绍

于 2021-05-24 15:10:00 发布
阅读量1.2k 收藏
点赞数 1
文章标签： postgresql 数据库
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_46199817/article/details/117223870
版权
本文介绍了Citus作为Postgres的分布式扩展，其集群架构包括协调节点和工作节点，以及不同的集群拓扑如基于语句的复制、流式复制。Citus MX架构允许数据节点存储元数据以实现读写请求的水平扩展。此外，文章探讨了计算存储分离和读写分离的优化策略，以提升系统的可用性和性能。
摘要由CSDN通过智能技术生成

作者：杨杰

简介

Citus是Postgres的开源扩展，将Postgres转换成一个分布式数据库，在集群的多个节点上分发数据和查询，具有像分片、分布式SQL引擎、复制表和分布式表等特性。
因为Citus是Postgres的扩展(而不是一个独立的代码分支)，所以当你使用Citus时，你也在使用Postgres，可以利用最新的Postgres特性、工具和生态系统。

架构节点

每个集群都有一个称为协调节点（Coordinator Node，CN）的特殊节点，其他节点称为工作节点（Worker Node，WN/DN）。
CN只存储和数据分布相关的元数据，实际的表数据被分成M个分片，打散到N个DN上。
应用程序将它们的查询发送到协调器节点，该节点将查询转发给相关的数据节点并收集结果。

在这里插入图片描述

注：以上以分布式表为例

集群拓扑

首先介绍原生Citus支持的几种集群拓扑

statement-based replication

在这里插入图片描述

为了提高可用性，协调节点通过PG原生流

最低0.47元/天 解锁文章
PostgreSQLChina
关注
  • 1
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 5
    评论
博客
在PGConf.Asia-中文技术论坛，聆听腾讯云专家对数据库技术的深度理解
12-07 2036
本届PGConf.Asia 2021亚洲技术大会，除腾讯云数据库分论坛（聚焦PGConf.Asia-腾讯云分论坛，Get金融级分布式数据库集大成之作）外，腾讯云数据库专家团队还将在中文技术论坛-内核专场和应用实践专场带来3场分享。直播地址：https://2021.postgresconf.cn/liveEntry我们首先来科普一下在上述演讲中提到的腾讯云数据库产品。TDSQL-C产品：云原生数据库 TDSQL-C（Cloud NativeDatabase TDSQL-C）简称 TDSQL-C。
博客
倒计时一个月，PGConf.Asia2021亚洲大会最新前瞻，有哪些值得关注的亮点？
11-15 1963
PostgreSQL亚洲大会PGConf.Asia，时隔一年，重装回归。这一年，PostgreSQL在中国、亚洲乃至全球，正以前所未有的速度向前发展。我们见证了全球数据库市场的行业变革，目睹了一批技术领袖的崛起，同时亲历了数百家生态企业创新成长。大会亮点今年大会线上线下结合，全程云端免费参与，前沿数据干货、最新产品解密、大咖互动提问，足不出户让您尽情体验！全球专家，云上互联。除中国演讲者外，本届大会将继续集结来自美国PG社区、欧洲PG社区、俄罗斯PG社区、日本PG社区、韩国PG社区等核心布道者的主.
博客
PostgreSQL如何对URL进行解析
07-28 3225
作者：吴聪尽管PostgreSQL中支持大量的数据类型，但是对于URL似乎并没有一个相应的类型能够去存储。那么对于URL的数据我们在数据库中要怎么去处理呢？首先还是需要看你要存储的URL数据是用来干嘛的，如果仅仅只是为了在以后查询的时候打印输出，那么用varchar或者text之类的类型不是就可以了吗？但是有的时候我们对于这些URL数据并不仅仅是简单的查询，我们可能希望通过这些URL能够查询一些额外的信息，例如URL的使用的协议、主机名等等。这里我们便可以使用ts_debug函数来进行解析了。函数t
博客
PostgreSQL在线调整最大连接数方案设想
06-21 3083
一、背景介绍PostgreSQL的最大连接数在某些时候会成为一个让业务很苦恼的问题。业务连接数暴增，连接数打满,但又不能重启服务这种场景下，显得非常尴尬。最大连接数就只能重启调整，要想不停库，貌似“无解”。为什么调整最大连接数需要重启，不能修改为reload方式？这个问题不详细展开，简单来说最大连接数参数和共享内存及信号量等相关的，设置最大连接数后，在启动时系统会相应分配这些资源。那原生的最大连接数参数看起来只能是重启方式修改生效了。原生pg除了max_connections，还可以ALTER US
博客
PostgreSQL 13.3、12.7、11.12、10.17和9.6.22发布了！
05-14 3053
本文转自：https://www.postgresql.org/about/news/postgresql-133-127-1112-1017-and-9622-released-2210/首发：https://pgfans.cn/a?id=1076PostgreSQL 13.3、12.7、11.12、10.17和9.6.22发布了！发表于2021-05-13 by PostgreSQL Global Development GroupPostgreSQL全球开发小组发布了对我们数据库系统所有受支持
博客
pgbackrest 实践
03-24 8360
作者：王志斌，曾获得中国PostgreSQL数据库管理工程师（PGCE），是PostgreSQL官方认证讲师，盘古云课堂特邀金牌讲师。Pgbackrest作为PostgreSQL数据库的备份和还原工具，在软件设计上综合考虑了功能和性能，包括完整性、一致性、安全性、数据压缩、异步并行等方面，其主要技术特性主要包括如下内容，如图所示：S3兼容支持备份存储S3和Azure兼容对象存储上，如对象存储Minio。压缩技术支持gzip, bzip, lz4, zstd的压缩算法，并提供不同压缩等级。
博客
在PostgreSQL中使用ltree处理层次结构数据
03-15 9480
作者：阿列克谢·瓦西里耶夫（Alexey Vasiliev）译者：类延良，任职于瀚高基础软件股份有限公司，PostgreSQL数据库技术爱好者，PostgreSQL ACE、PGCM、10g &11g OCM，OGG认证专家。原文地址：https://leopard.in.ua/2013/09/02/postgresql-ltree#.YEhtc2gzaUk在本文中，我们将学习如何使用PostgreSQL的ltree模块，该模块允许以分层的树状结构存储数据。什么是ltree？Ltree是P
博客
COPU助力北大研究生开源公选课丨开源PostgreSQL研发课程成功进入北京大学
03-11 3782
为促进开源软件在中国高校的传播，进一步提高在校研究生对开源软件的学习，培养数据库研发从业人才，3月8日，PostgreSQL高校课程改革工作走进北京大学，北大研究生开源开发实践公选课PG开课宣讲启动会成功举行。中国PG分会联合瀚高数据库开发的PG课程正式进入北京大学研究生公选课。本次启动课由北京大学软件与微电子学院发起和邀请。瀚高数据库联合中国开源软件联盟PostgreSQL分会精心组织了PG研发通识课和实践课内容，经过评审成功进入北京大学研究生开源开发实践公选课框架。本次课程框架由北京大学荆琦教授联.
博客
Pgbouncer最佳实践：系列四
03-04 4030
作者：王志斌，曾获得中国PostgreSQL数据库管理工程师（PGCE），是PostgreSQL官方认证讲师，盘古云课堂特邀金牌讲师。最后再来说一下关于Pgbouncer的部署形式，包括单应用场景、多应用场景、集群场景还有多实例场景，这些方式都是依据不同的业务场景，没有孰优孰劣，符合的才是对的。其中单应用和多应用场景来源于官方。单应用场景：单应用场景主要具体为短连接较多的场景，频繁进行数据库的连接操作，但操作时间较短，均为短连接，所以将pgbouncer于应用服务器部署在同一台服务器，减少应用服务器
博客
Pgbouncer最佳实践：系列三
03-03 3332
作者：王志斌，曾获得中国PostgreSQL数据库管理工程师（PGCE），是PostgreSQL官方认证讲师，盘古云课堂特邀金牌讲师。PgBouncer具有三种可用的池模式：事务池，会话池和语句池：事务连接池数据库客户端很少在不间断的情况下执行连续的事务。而是通常在事务之间执行非数据库工作。这意味着服务器连接在等待新工作到达时会花费大量时间空闲。事务池模式试图减少服务器连接的空闲时间，如下所示：池程序在开始事务时将服务器连接分配给客户端。客户端的事务完成后，池程序将释放连接分配。注意事项：
博客
Pgbouncer最佳实践：系列一
03-01 4292
作者：王志斌，曾获得中国PostgreSQL数据库管理工程师（PGCE），是PostgreSQL官方认证讲师，盘古云课堂特邀金牌讲师。PgBouncer作为PostgreSQL数据库的连接池中间件。与其他存在于PostgreSQL的连接池中间件不同，PgBouncer仅作为一个连接池和代理层为PostgreSQL和应用之间提供服务。Pgbouncer具备例如连接池模式、连接类型、端口重用，应用场景以及用户认证、网络认证等多种重要特性，下面将逐一讲述，并期望为读者提供一份在实施过程中使用的配置指南。数据
博客
使用PG_STAT_REPLICATION监视复制
02-24 2757
作者：汉斯·尤尔根·舍尔希(Hans-JürgenSchönig)，从上世纪90年代开始使用PostgreSQL，他是CYBERTEC公司的CEO与技术带头人，CYBERTEC是该领域的市场领导者之一，自2000年以来已为全球无数客户提供服务。他著有图书《Mastering PostgreSQL 9.6: A comprehensive guide for PostgreSQL 9.6 developers and administrators》和《Mastering PostgreSQL 11，Seco.
博客
开源数据库管理系统现在比商业产品更受欢迎
02-19 6176
原文链接：https://db-engines.com/en/blog_post/862021年1月13日作者：马蒂亚斯·盖尔曼（Matthias Gelbmann）Matthias Gelbmann是奥地利维也纳Solid IT联合创始人，董事总经理兼顾问。Matthias Gelbmann在维也纳学习了计算机科学和应用数学。他的专业领域包括数据库管理系统，人工智能，编译器构建，嵌入式软件，Internet和软件流程。在加入Solid IT之前，他曾在阿尔卡特，奥地利银行集团和飞利浦工作，担任软
博客
PostgreSQL中的MVCC 事务隔离
02-03 6449
作者：Erop Porob翻译：墨香溪文章来自Postgres Professional在本文中，我将开始有关PostgreSQL内部结构的一系列课程（或者说系列集？—总的来说，这个想法很宏大）。本文中的材料将基于Pavel pluzanov和我正在创建的有关PostgreSQL数据库管理的培训课程（俄语）。并非每个人都喜欢看视频（比如我）或者看幻灯片，即使有注释，也不是很理想。可惜的是，目前唯一可用的英语课程是2天入门 PostgreSQL 11。当然，文章与课程内容将不会完全相同。我将只讨论
博客
使用pgBackRest并行归档解决wal堆积问题
02-02 2284
作者：温智尹问题现象：最近生产上一台postgresql云主机磁盘告警，查看各文件目录大小，发现pg_wal目录竟然占用600G+,数据目录300G。现有架构:rds云主机 一主一从磁盘大小1.2T数据盘为ssd 归档与备份存储在ks3存储文件上解决思路：1.查找wal日志持续不释放原因首先我们得了解那些参数影响wal日志产生的量与pg_wal目录文件的大小：max_wal_size (integer)：在自动WAL检查点使得WAL增长到最大尺寸。这是软限制；特殊情况下WAL大小可以超
博客
PostgreSQL使用clickhousedb_fdw访问ClickHouse
01-27 5705
作者：杨杰简介PostgreSQL FDW是一种外部访问接口，它可以被用来访问存储在外部的数据，这些数据可以是外部的PG数据库，也可以mysql、ClickHouse等数据库。ClickHouse是一款快速的开源OLAP数据库管理系统，它是面向列的，允许使用SQL查询实时生成分析报告。clickhouse_fdw是一个开源的外部数据包装器(FDW)用于访问ClickHouse列存数据库。目前有以下两款clickhouse_fdw：https://github.com/adjust/clickho
博客
Postgreshub中文资源网介绍
01-25 5352
开源软件涉及众多领域，很多领域仍需建设、发展科学专业的开源社区组织、独立可控的软件开发、管理平台，组织有能力的编码者协同开发，召集更多的人参与开源贡献才能使中国开源软件发展越来越强大。基础软件发展更是如此，需要更多国人的参与、专业组织的引领，强大平台的支撑！目前，由中国PostgreSQL分会组织建设了postgreshub.cn资源平台，希望通过平台可以使PostgreSQL在国内能够独立、健康、可持续发展。在此通过问答的方式向大家介绍一下：1.postgreshub.cn是什么？postgres
博客
PostgreSQL中Oid和Relfilenode的映射
01-25 8310
作者李传成中国PG分会认证专家，瀚高软件资深内核研发工程师https://zhuanlan.zhihu.com/p/342466054PostgreSQL中的表会有一个RelFileNode值指定这个表在磁盘上的文件名（外部表、分区表除外）。一般情况下在pg_class表的relfilenode字段可以查出这个值，但是有一些特定表在relfilenode字段的查询结果是0，这个博客中将会探究这些特殊表relfilenode的内核处理。正常表的Relfilenode当我们创建一张普通表时，在pg_c
博客
解决Windows2012 R2下安装PostgreSQL报错的问题
01-14 1989
作者：类延良，任职于瀚高基础软件股份有限公司，PostgreSQL数据库技术爱好者，10g &11g OCM，OGG认证专家。一、环境说明Windows2012R2的版本见下，未打任何的OS补丁采用的介质是postgresql-12.5-1-windows-x64.exe，从EDB公司下载的介质，已经验算过该介质的SHA256，没问题。PostgreSQL12 x64bit是支持Windows 2102R2的，如下截图来自https://www.postgresql.org/downl
博客
为PostgreSQL的表自动添加分区
01-06 2778
作者：乐途 笔名：lottu个人简介：目前在一家游戏公司从事数据库架构设计和开发，曾主导公司去“O”的相关工作；个人博客：https://www.cnblogs.com/lottuPostgreSQL引进“分区”表特性，解放了之前采用“表继承”+“触发器”来实现分区表的繁琐、低效。而添加分区，都是手动执行SQL。演示目的：利用python来为PostgreSQL的表自动添加分区。python版本：python3+pip3 install psycopg2一、配置数据源database.in.
评论 5
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值