当前调研基于citus7.5
开源协议
citus的开源协议是GPL v3, 意味着修改和使用其代码都需要开源,但是这是建立在软件分发的基础上,如果使用代码作为服务提供,而不分发软件,则不需要开源。
功能优势
- 只是PostgreSQL的一个extension;基本兼容PostgreSQL的sql处理能力、管理工具、性能优化和功能扩展等
- 支持分布式事务;citus使用2pc保证数据的最终一致性
- 支持两种执行器;real-time(默认)和task-tracker执行器,可根据实际应用场景选择执行器
- 横向扩展方便;citus增加worker节点非常方便,只需要简单的几步操作即可完成扩展
- 分片表管理简单;分片表删改与普通表差别不大,且citus提供了大量的函数查看分片表的状态,管理分片
- 支持并行查询;citus在接收到分布式请求之后,会生成分布式执行计划,并将各个子任务下发到相应的worker节点执行
- 支持聚合下推; citus执行聚合时先在涉及到的worker节点进行初步处理,再在coordinator节点汇总计算。
- 成功案例较多;苏宁、cisco等
- 支持批量数据加载;
- 支持实时增删改查;
- 支持常用DDL;
real-time执行器是coordinator节点直接与worker节点交互,容易造成并发大,可能导致资源瞬间增长
task-tracker执行器是coordinator节点与worker节点上的task-tracker进程交互,由task-tracker进程负责worker上的任务调度,支持数据重分布,并发数可控
功能限制
- 不能保证全局的一致性读;2pc的最后一步,一部分子事务还未提交时,读取数据库可能会得到不正确的结果
- 社区版不支持平滑扩容;citus添加新的worker节点后,现有的分片表和参考表却不会自动分布到新加的worker上。
- 社区版CN可能成为性能瓶颈;社区版只支持一个coordinator
- 本地表不能与分片表、参考表混用;
- 分片列不支持更新;
- SQL限制;
【平滑扩容问题】