MySQL数据分片最佳实践_MySQL Cluster7.2.4初步安装部署新特性性能测试等

最新推荐文章于 2022-12-23 09:17:51 发布

喵喵哒哟

最新推荐文章于 2022-12-23 09:17:51 发布

阅读量131

点赞数

文章标签： MySQL数据分片最佳实践

本文链接：https://blog.csdn.net/weixin_30458447/article/details/113611320

版权

1.1 mysql-cluster简介

简单的说，MySQLCluster实际上是在无共享存储设备的情况下实现的一种完全分布式数据库系统，其主要通过NDBCluster(简称NDB)存储引擎来实现。

MySQLCluster刚刚诞生的时候可以说是一个可以对数据进行持久化的内存数据库，所有数据和索引都必须装载在内存中才能够正常运行，但是最新的MySQLCluster版本已经可以做到仅仅将所有索引和索引数据装载在内存中即可，实际的数据可以不用全部装载到内存中，架构如下图所示：

1.2 请看Cluster结构图

1.3 Cluster主要结构

1、管理(MGM)节点：

这类节点的作用是管理MySQLCluster内的其他节点，如提供配置数据、启动并停止节点、运行备份等。由于这类节点负责管理其他节点的配置，应在启动其他节点之前首先启动这类节点。MGM节点是用命令“ndb_mgmd”启动的。

对硬件没什么要求，差一点的机器完全能够胜任。默认端口1186。

2、数据节点：

这类节点用于保存Cluster的数据。数据节点的数目与副本的数目相关，是片段的倍数。例如，对于两个副本，每个副本有两个片段，那么就有4个数据节点。不过没有必要设置多个副本。数据节点是用命令“ndbd”启动的。

可以选择大内存，cpu也相对来讲不错的，尤其是以后ndbmtd对多核Cpu的支持。默认端口2202

?3、SQL节点：

这是用来访问Cluster数据的节点。对于MySQLCluster，客户端节点是使用NDBCluster存储引擎的传统MySQL服务器。通常，SQL节点是使用命令“mysqld–ndbcluster”启动的，或将“ndbcluster”添加到“my.cnf”后使用“mysqld”启动。

对cpu要求较高，选择多核，高频CPU较好

1.4 Cluster特性

分布式：分布式存储引擎，可以由多个NDBCluster存储引擎组成集群分别存放整体数据的一部分

支持事务：和Innodb一样，支持事务

可与mysqld不在一台主机：可以和mysqld分开存在于独立的主机上，然后通过网络和mysqld通信交互。

内存需求量巨大：新版本索引以及被索引的数据必须存放在内存中，老版本所有数据和索引必须存在与内存中

Cluster使用自动键值识别数据分片方案，用户无需关心数据切片方案(在5.1及以后提供了分区键规则)，透明实现分布式数据库，数据分片规则根据1、主键、2唯一索引、3自动行标识rowid完成，再集群个数进行分布，其访问数据犹如RAID访问机制一样，能并行从各个节点抽取数据，散列数据，当使用非主键或分区键访问时，将导致所有簇节点扫描，影响性能(这是Cluster面对的核心挑战)

适用场景：

具有非常高的并发需求

对单个请求的响应并不是非常的critical

查询简单，过滤条件较为固定，每次请求数据量较少，又不希望自己进行水平Sharding

最佳实践

尽可能让查询简单，避免数据的跨节点传输；尽可能满足SQL节点的计算性能，大一点的集群SQL节点会明显多余Data节点；在各节点之间尽可能使用万兆网络环境互联，以减少数据在网络层传输过程中的延时

1.5mysql-cluster的优缺点

优点：

1) 99.999 ％的高可用性

2) 快速的自动失效切换

3) 灵活的分布式体系结构，没有单点故障

4) 高吞吐量和低延迟