昆仑分布式数据库技术特点

已于 2022-07-13 11:28:56 修改
阅读量1.2k 收藏
点赞数
分类专栏： KunlunBase 文章标签： 数据库开发
于 2022-01-20 11:26:06 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/KunLunDB_Linda/article/details/122597836
版权

上章节介绍了昆仑分布式数据库的架构，这章节接着介绍昆仑分布式数据库的技术特点！

一、高可用性（HA）

兼容多种强一致性，高可用性方案(strong consistency,high availability)

1.1 存储shard:默认使用MySQLGroupReplication保障数据库服务高可用

1.2 2*N+1个节点的shard，每个已提交的事务都复制到了至少N个备机

1.3 兼容基于mysqlrowbasedreplication的半同步同步的高可用技术(*)

1.4 兼容基于共享存储实现高可用的mysql存储集群(*)

二、完备的容灾能力

完备的容灾能力(crash safety&fault tolerance)

2.1 存储集群主备强一致

2.2 GTP:全局事务容灾能力

  • 分布式事务两阶段提交

  • 节点/网络故障时可以保障分布式事务ACID

2.3 GMR:DDL与集群全局元数据一致性

  • DDL事务涉及计算节点，元数据集群，存储集群

2.4 GMR:计算节点之间的元数据语句复制及其一致性保障

  • 复制过程随时可能中断

2.5 GTP:计算节点自动切换存储集群主节点(auto failover)

  • 元数据集群，存储集群

2.6 GTP:cluster_mgr:自动维护各shard的存储集群复制状态

三、水平扩展能力

高可扩展性(high scalability):计算能力，存储空间，资源利用率

3.1 IAP:灵活的sharding方式

  • 用户对sharding方式拥有全部控制

  • sharding方式:hash/range/list，未来mirror(*)

  • 选择sharding列:任意若干个列

  • 用户最理解自己的数据及其访问模式

  • 定制分区选项达到最优性能

  • 专业模式VS 傻瓜模式

  • 根据数据表的规模定制sharding方案

  • 不需要预估全局的固定的分区数目，也不把所有表等分为固定数量的分区

  • 可以为每个表按需增加分区，各表分区数量各异

  • 最少化两阶段提交的事务数量

  • 计算节点自动为每个分片选择合适的存储集群

3.2 ESO:自动按需扩展(*)

  • 自动透明地分布数据表到新加入的存储集群

  • 业务和最终用户无感知

3.3 GPQP:全局并行查询处理:后摩尔时代，利用更多的计算资源

  • 计算节点层的并行

  • 计算节点与存储节点之间的并行

  • 存储节点层的并行(*)

3.4 多点读写

  • 按需增加/减少计算节点

  • 按需增加/减少存储shard(*)

  • 存储集群支持多点写入(*)

  • 备机读(*)

四、查询处理

4.1 充分理解用户数据

  • 本地存储完备的元数据和数据字典

  • 本地存储完备的全局数据统计信息

  • 有条件产生最优的分布式查询计划和查询执行性能

4.2 完整的查询处理过程

  • parser->resolver->optimizer->executer

  • 可以处理任意SQL查询

  • 支持多表连接，子查询，聚集查询，CTE，window function，存储过程，视图，物化视图

  • 完整的查询处理功能:真prepared statement

4.3 完美支持OLAP查询

  • 查询处理能力完美支持大数据分析任务

  • 直接使用本地数据，无需数据搬迁，无需spark/hadoop生态

4.4 可以调用MySQL系统函数和用户定义的存储过程/函数

推荐阅读：

KunlunBase架构介绍 - Powered by MinDoc (kunlunbase.com)icon-default.png?t=M666http://www.kunlunbase.com:8181/docs/b/b-1dnl0ff08vm42KunlunBase技术优势介绍 - Powered by MinDoc (kunlunbase.com)icon-default.png?t=M666http://www.kunlunbase.com:8181/docs/b/b-1dnl0hidnehicKunlunBase技术特点介绍 - Powered by MinDoc (kunlunbase.com)icon-default.png?t=M666http://www.kunlunbase.com:8181/docs/b/b-1dnl0gmd9l44gKunlun-Storage vs PostgreSQL OLTP 测试 - Powered by MinDoc (kunlunbase.com)icon-default.png?t=M666http://www.kunlunbase.com:8181/docs/b/b-1dq86ad4auj8ePostgreSQL vs MySQL TPC-H 测试 - Powered by MinDoc (kunlunbase.com)icon-default.png?t=M666http://www.kunlunbase.com:8181/docs/b/b-1dp6drao3djef

END

KunlunBase 昆仑数据库
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
博客
《Klustron Tech Talk》直播选题有奖问卷调查，获MySQL系列丛书
05-29 117
我们将在活动截止（截止时间：6月16日24点）后的7个工作日内送出书籍。为了帮助到更多数据库相关从业者并与大家共同成长，我们诚邀您做一个问卷调查，了解您对数据库技术的哪些方面的内容感兴趣并且希望我们在每周的线上技术分享来讲解。您的问卷反馈将助力我们持续提升《Klustron Tech Talk》的课程质量，给朋友们带来更好的直播体验，创造更大的价值。填写调查问卷或者通过扫描以下二维码进行填写。
博客
北京 Meetup 预告 | 内含六个话题，满满干货，期待见面！
04-27 500
北京 Meetup 预告 | 内含六个话题，满满干货，期待见面！
博客
报名开启！KunlunBase今年首场线下MeetUP，期待与您的见面！
03-13 193
报名开启！KunlunBase今年首场线下MeetUP，3月25日期待与您的见面！
博客
【明晚直播】KunlunBase 1.1 版本发布：完善MySQL 兼容性，OLAP性能提升
03-01 151
【明晚直播】赵伟|KunlunBase 1.1版本发布&丁奇|KunlunBase Fullsync 机制优化实践
博客
KunlunBase 产品使用和评测指南
10-11 904
KunlunBase产品使用和评测指南
博客
KunlunBase功能体验范例
10-10 563
KunlunBase功能体验范例
博客
KunlunBase 1.0 发布了！
08-02 216
KunlunBase 1.0 发布了！
博客
KunlunBase 线上Meetup等您来~
07-16 207
7月 16日（周六），KunlunBase线上MeetUP等您来！
博客
昆仑数据库 MySQL 连接协议简介
07-12 874
并且无论在使用PostgreSQL协议的连接还是MySQL协议的连接中，都可以执行昆仑数据库支持的任何语法，包括这些MySQL私有DML语法，也包括标准的SQL语法，以及昆仑数据库支持的任何其他PostgreSQL私有语法。昆仑数据库的计算节点基于PostgreSQL研发，因而直接可以支持PostgreSQL的连接协议，所以使用JDBC、ODBC等通用的数据库连接协议以及使用各类编程语言的PostgreSQL专有的连接库的软件都可以连接到昆仑数据库集群并且正常工作。......
博客
KunlunBase 读写分离方案
07-12 214
在演示的环境中，数据集群由两个shard组成（shard1,shard2),shard1的shard_id=1,shard1包含3个副本（id为1，2，3，id为1的是主节点，id为2和3的是备机。备机的存储节点的硬件配置与主节点一致，在一般的生产使用过程中，备机节点的主要目的是作为主机出现故障后的替换节点，不接受应用程序的直接数据处理请求，因此，在非故障切换的情况下，备机的存储节点资源利用率相对较低。只读语句将被路由到从备机节点，降低了主节点的IO资源利用率，系统整体性能获得提升。......
博客
KunlunBase MeetUP 等您来！
06-30 340
欢迎大家周六下午来KunlunBase 直播间，我们的技术专家会给你讲解 KunlunBase特色的分布式任务框架的设计思想和实现、应用技术，以及KunlunBase独到的读写分离方案及其相比其他类型功能组件的独特优势。学交流和学习软件设计和开发技术和数据库系统应用和管理技术，就来KunlunBase直播间！...
博客
KunlunBase 0.9.1版本Sysbench性能测试报告
05-11 682
kunlun-0.9.1的性能测试主要使用Sysbench进行，分为oltp测试和olap测试两大部分。对于oltp测试，主要包含4种操作read&write、writeonly、update_non_index、update_index，测试目的主要是检查新推出的强一致性模式(rbr)，对比MySQL的官方强一致性方案(mgr)性能有多大提升。由于网络不是瓶颈，主要在内网的机器中进行。对于olap测试，则主要包含。......
博客
KunlunBase的Fullsync高可用机制简介
05-10 547
KunlunBase具备完善的容灾和错误处理机制，通过分布式事务两阶段提交算法，以及Fullsync和FullsyncHA机制，可以确保在集群运行期间任意计算节点、存储节点、cluster_mgr等组件发生宕机、重启等故障或者发生网络分区（networkpartition）或者断连时，集群管理的用户数据以及元数据都会是一致的和完整的，不会丢失用户已提交事务的任何数据更新，也不会发生事务部分提交部分回滚等不一致情况，以及发生用户的元数据与用户数据不一致等情况。分布式事务处理两阶段提交机制和原理）。......
博客
KunlunBase功能之insert/update/delete...returning语句
05-10 336
在一些业务场景中，用户需要插入、更新、删除一行或者多行目标数据行，然后获得自己刚刚插入、更新、删除之后的行或者其部分字段的值，包括部分字段构成的任意合法的表达式的值。对于MySQL用户来说，要做到这一点，用户通常需要在一个显式的事务中执行update语句，然后使用相同的查询条件把update的语句取出来。之所以要在显式事务中做，是为了防止其他并发的事务update了本连接刚刚update的行，那样的话，随后的select语句得到行就不是本连接刚刚update之后的行了，因为这些行又被其他事务更新过了。...
博客
Kunlun-Storage vs PostgreSQL OLTP 测试
04-25 357
KunlunStorage是泽拓科技基于Percona-mysql-8.0.26优化的数据库存储服务器，作为KunlunBase分布式数据库的存储节点，我们对percona-mysql做了大量性能增强，补足了其在XA事务处理的容灾和错误处理方面的空白，并增加了一些昆仑数据库集群整体需要的功能，包括fullsync复制，update/delete…returning语句等。1.2.3.PostgreSQL在负载动态变化过程中，有明显的延迟抖动，而Kunlun-Storage性能曲线相对平稳.点击阅读原文。..
博客
KunlunBase对MySQL私有DML语法的支持
04-22 665
为了让MySQL的应用更为便捷地迁移到KunlunDB，我们做了很多兼容MySQL的工作。本篇章主要介绍KunlunDB现在已经支持的MySQL常用的私有DML语法，以及这些语法与原生MySQL的差异。
博客
PostgreSQL vs MySQL TPC-H 测试
04-11 1392
上述执行计划首先将几个维度表做join（dates和supplier和part),得到的结果再与事实表lineorderjoin,因而得出了一个超级大的中间结果集，数据量达到10的15次方的数量（查询计划第五行返回的rows），最终导致临时文件耗尽磁盘空间而未能完成查询。PostgreSQL自动采用最优的join次序，大大减少了最后排序的数据量，并且启动了3个并行分割数据集，因此执行的性能比手动优化后的MySQL还快10倍。4张维度表customer，part，supplier，dates。...
博客
昆仑分布式数据库存储集群 Fullsync 机制
04-07 1087
昆仑数据库的Fullsync机制是一种存储集群的高可用机制，它用于确保一个存储集群在发生节点故障、网络分区等问题时，该集群中存在可用的备机含有所有向用户确认提交成功的事务的binlog，以便可以按需选举出新的主节点，确保集群持续可以写入，实现高可用。昆仑数据库的Fullsync机制基于MySQL久经考验的RowBasedReplication（RBR）binlog复制机制，实现了主备复制的强同步，也就是确保主节点上提交的每一笔事务。...
博客
XPanel管理系统软件说明书（四）之集群备份恢复管理
04-07 280
集群备份恢复介绍
博客
XPanel管理系统软件说明书（三）之集群管理
04-07 372
集群管理功能介绍

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值