关于集群的几个图解

最新推荐文章于 2023-11-02 10:08:46 发布

小飞鹤

最新推荐文章于 2023-11-02 10:08:46 发布

阅读量5.1k

点赞数 2

分类专栏：数据库

本文链接：https://blog.csdn.net/he90227/article/details/45641647

版权

1.使用lvs+keepalive实现集群高可用，达到更健壮的LB

我们可以做前端使用lvs来做负载均衡，根据lvs的8种调度算法(可设置)，分发请求到对应的web服务器集群上。lvs做双机热备，通过keepalived模块能够达到故障自动转移到备份服务器，不间断提供服务，结构如图：

说明：据查询了解，一般在WEB端使用的负载均衡比较多的是HAProxy+keepalived+nginx；数据库mysql集群使用Lvs+keepalived+mysql实现。因为HAProxy和nginx一样是工作在网络7层之上，并且前者弥补了nginx的一些缺点如session的保持，cookie的引导等，且它本身是个负责均衡软件，处理负载均衡上面必然优于nginx；lvs比较笨重，对于比较庞大的网络应用实施比较复杂，虽然它运行在网络4层之上，仅做分发没有流量产生，但是它不能做正则处理也不能也不能做动静分离，所以一般用lvs+keepalived或heatbeat做数据库层的负载均衡。

2.使用terracotta或者memcached使session共享

2.1、terracotta是jvm级别的session共享

它基本原理是对于集群间共享的数据，当在一个节点发生变化的时候，Terracotta只把变化的部分发送给Terracotta服务器，然后由服务器把它转发给真正需要这个数据的节点，并且共享的数据对象不需要序列化。

2.2、通过memcached实现内存级session共享

通过memcached-session-manager（msm）插件，通过tomcat上一定的配置，即可实现把session存储到memcached服务器上。注意：tomcat支持tomcat6+，并且memcached可以支持分布式内存，msm同时支持黏性session（sticky sessions）或者非黏性session（non-sticky sessions）两种模式，在memcached内存中共享的对象需要序列化。结构如图3：

通过一定的配置，可以实现故障转移(只支持对非粘性session)。如：

    Xml代码   
    
  
 <Context>    
       ...    
       <Manager className="de.javakaffee.web.msm.MemcachedBackupSessionManager"    
         memcachedNodes="n1:host1.yourdomain.com:11211,n2:host2.yourdomain.com:11211"    
         failoverNodes="n1"    
         requestUriIgnorePattern=".*\.(ico|png|gif|jpg|css|js)$"    
         transcoderFactoryClass="de.javakaffee.web.msm.serializer.kryo.KryoTranscoderFactory"    
         />    
 </Context>  

说明：failoverNodes：故障转移节点，对非粘性session不可用。属性failoverNodes="n1"的作用是告诉msm最好是把session保存在memcached "n2"节点上，只有在n2节点不可用的情况下才把session保存在n1节点。这样即使host2上的tomcat宕机，仍然可以通过host1上的tomcat访问存放在memcached "n1" 节点中的session。

Mysql集群的基本架构如下：

MySQL Cluster 是一种技术，该技术允许在无共享的系统中部署“内存中”数据库的 Cluster 。通过无共享体系结构，系统能够使用廉价的硬件，而且对软硬件无特殊要求。此外，由于每个组件有自己的内存和磁盘，不存在单点故障。
MySQL Cluster 由一组计算机构成，每台计算机上均运行着多种进程，包括MySQL服务器，NDB Cluster 的数据节点，管理服务器，以及（可能）专门的数据访问程序。关于 Cluster 中这些组件的关系，请参见下图：

所有的这些节点构成一个完成的MySQL集群体系。数据保存在“NDB存储服务器”的存储引擎中，表（结构）则保存在“MySQL服务器”中。应用程序通过“MySQL服务器”访问这些数据表，集群管理服务器通过管理工具(ndb_mgmd)来管理“NDB存储服务器”。
通过将MySQL Cluster 引入开放源码世界，MySQL为所有需要它的人员提供了具有高可用性、高性能和可缩放性的 Cluster 数据管理。
二、MySQL Cluster 基本概念
“NDB” 是一种“内存中”的存储引擎，它具有可用性高和数据一致性好的特点。
MySQL Cluster 能够使用多种故障切换和负载平衡选项配置NDB存储引擎，但在 Cluster 级别上的存储引擎上做这个最简单。MySQL Cluster的NDB存储引擎包含完整的数据集，仅取决于 Cluster本身内的其他数据。
目前，MySQL Cluster的 Cluster部分可独立于MySQL服务器进行配置。在MySQL Cluster中， Cluster的每个部分被视为1个节点。

管理(MGM)节点：这类节点的作用是管理MySQL Cluster内的其他节点，如提供配置数据、启动并停止节点、运行备份等。由于这类节点负责管理其他节点的配置，应在启动其他节点之前首先启动这类节点。MGM节点是用命令“ndb_mgmd”启动的。
数据节点：这类节点用于保存 Cluster的数据。数据节点的数目与副本的数目相关，是片段的倍数。例如，对于两个副本，每个副本有两个片段，那么就有4个数据节点。不过没有必要设置多个副本。数据节点是用命令“ndbd”启动的。
SQL节点：这是用来访问 Cluster数据的节点。对于MySQL Cluster，客户端节点是使用NDB Cluster存储引擎的传统MySQL服务器。通常，SQL节点是使用命令“mysqld –ndbcluster”启动的，或将“ndbcluster”添加到“my.cnf”后使用“mysqld”启动。
注释：在很多情况下，术语“节点”用于指计算机，但在讨论MySQL Cluster时，它表示的是进程。在单台计算机上可以有任意数目的节点，为此，我们采用术语“ Cluster主机”。

管理服务器(MGM节点)负责管理 Cluster配置文件和 Cluster日志。 Cluster中的每个节点从管理服务器检索配置数据，并请求确定管理服务器所在位置的方式。当数据节点内出现新的事件时，节点将关于这类事件的信息传输到管理服务器，然后，将这类信息写入 Cluster日志。
此外，可以有任意数目的 Cluster客户端进程或应用程序。它们分为两种类型：

标准MySQL客户端：对于MySQL Cluster，它们与标准的（非 Cluster类）MySQL没有区别。换句话讲，能够从用PHP、Perl、C、C++、Java、Python、Ruby等编写的现有MySQL应用程序访问MySQL Cluster。
管理客户端：这类客户端与管理服务器相连，并提供了启动和停止节点、启动和停止消息跟踪（仅调试版本）、显示节点版本和状态、启动和停止备份等的命令

Windows下搭建Mysql集群

这里采用最小配置，用两台机器来分别部署一个management 节点，2个data node, 2个sql node.

Management Node: 192.168.0.102

Data Node A: 192.168.0.102

Data Node B: 192.168.0.104

Sql Node A: 192.168.0.102

Sql Node B: 192.168.0.104

1. 首先从Mysql官方网站上下载最新的Mysql Cluster免安装包（http://downloads.mysql.com/archives/cluster/）

注意我们下载的是ZIP Archive

2.将免安装包分别解压到两台机器的C:\Mysql文件夹下

3. 在Management Node的C:\Mysql\Bin下新建Config文件夹，用来存放cluster的配置文件。

3.1首先需要为management node创建一个默认配置文件my.ini ,内容如下:

[mysql_cluster]
# Options for management node process
config-file=C:/mysql/bin/config/config.ini

3.2 创建整个cluster的配置文件config.ini

[ndbd default]
# Options affecting ndbd processes on all data nodes:
NoOfReplicas=2                      # Number of replicas
DataDir=C:/mysql/bin/cluster-data   # Directory for each data node's data files
                                    # Forward slashes used in directory path,
                                    # rather than backslashes. This is correct;
                                    # see Important note in text
DataMemory=80M    # Memory allocated to data storage
IndexMemory=18M   # Memory allocated to index storage
                  # For DataMemory and IndexMemory, we have used the
                  # default values. Since the "world" database takes up
                  # only about 500KB, this should be more than enough for
                  # this example Cluster setup.

[ndb_mgmd]
# Management process options:
HostName=192.168.0.102              # Hostname or IP address of management node
DataDir=C:/mysql/bin/cluster-logs   # Directory for management node log files

[ndbd]
# Options for data node "A":
                             # (one [ndbd] section per data node)
HostName=192.168.0.102           # Hostname or IP address

[ndbd]
# Options for data node "B":

HostName=192.168.0.104           # Hostname or IP address

[mysqld]
# SQL node A options:

HostName=192.168.0.102           # Hostname or IP address

[mysqld]
# SQL node B options:

HostName=192.168.0.104           # Hostname or IP address

4. 启动Management Node,命令如下:

c:\mysql\bin\ndb_mgmd.exe --configdir=c:\mysql\bin\config --config-file=c:\mysql\bin\config\config.ini --ndb-nodeid=1 --reload –initial

5.启动Data Node A,命令如下:

c:\mysql\bin\ndbd.exe --ndb-connectstring=192.168.0.102

6.启动Data Node B,命令如下:

c:\mysql\bin\ndbd.exe --ndb-connectstring=192.168.0.102

7.可以打开management client来查看cluster当前的状态

8.Data Node均启动后，接下来分别启动两个Sql Node，命令如下:

c:\mysql\bin\mysqld.exe --ndbcluster --ndb-connectstring=192.168.0.102 --console
9. 通过management client查看cluster的当前状态

10.至此，cluster已经成功启动。

11.在Sql Node A上创建数据库ClusterSample

注：默认root密码为空

12.在Sql Node A上创建数据表Person;

13. 通过Sql Node A插入数据；

14.在Sql Node B上去查询数据

Linux下搭建Mysql集群

开始准备
1、准备服务器
现在，我们计划建立有5个节点的MySQL CLuster体系，因此需要用到5台机器，分别做如下用途：

		节点(用途)		IP地址(主机名)
管理节点(MGM)		192.168.0.1(db1)
SQL节点1(SQL1)		192.168.0.2(db2)
SQL节点2(SQL2)		192.168.0.3(db3)
数据节点1(NDBD1)	192.168.0.4(db4)
数据节点2(NDBD2)	192.168.0.5(db5)

2、注意事项及其他
每个节点的操作系统都是Linux，下面的描述中将使用主机名，不再使用IP地址来表示。由于MySQL Cluster采用TCP/IP方式连接，并且节点之间的数据传输没有加密，因此这个体系最好只在单独的子网中运行，并且考虑到传输的速率，强烈建议不要跨越公网使用这个体系。所需的MySQL软件请事先在 http://dev.mysql.com/downloads 下载。
实际上整个体系可以在一个单独的实体计算机上运行成功，当然了，必须设定不同的目录以及端口等，只能作为测试时使用。
四、开始安装
1、假定条件
在每个节点计算机上都采用 nobody 用户来运行Cluster，因此执行如下命令添加相关用户（如果已经存在则略过，且用root用户执行）：

	root# /usr/sbin/groupadd nobody
root# /usr/sbin/useradd nobody -g nobody

假设已经下载了mysql可直接使用的二进制安装包，且放在 /tmp 下了。
2、SQL节点和存储节点(NDB节点)安装(即4个机器重复执行以下步骤)

	root# cd /tmp/
root# tar zxf mysql-max-5.0.24-linux-i686.tar.gz
root# mv mysql-max-5.0.24-linux-i686 /usr/local/mysql/
root# cd /usr/local/mysql/
root# ./configure --prefix=/usr/local/mysql
root# ./scripts/mysql_install_db
root# chown -R nobody:nobody /usr/local/mysql/

3、配置SQL节点

	root# vi /usr/local/mysql/my.cnf

然后输入如下内容：

[mysqld]
basedir         = /usr/local/mysql/
datadir         = /usr/local/mysql/data
user            = nobody
port            = 3306
socket          = /tmp/mysql.sock
ndbcluster
ndb-connectstring=db1
[MYSQL_CLUSTER]
ndb-connectstring=db1

4、配置存储节点(NDB节点)

	root# vi /usr/local/mysql/my.cnf

然后输入如下内容：

[mysqld]
ndbcluster
ndb-connectstring=db1
[MYSQL_CLUSTER]
ndb-connectstring=db1

5、安装管理节点

	root# cd /tmp/
root# tar zxf mysql-max-5.0.24-linux-i686.tar.gz
root# mkdir /usr/local/mysql/
root# mkdir /usr/local/mysql/data/
root# cd mysql-max-5.0.24-linux-i686/bin/
root# cp ndb_mgm* /usr/local/mysql/
root# chown -R nobody:nobody /usr/local/mysql

6、配置管理节点

		root# vi /usr/local/mysql/config.ini

然后输入如下内容：

[NDBD DEFAULT]
NoOfReplicas=1
[TCP DEFAULT]
portnumber=3306
#设置管理节点服务器
[NDB_MGMD]
hostname=db1
#MGM上保存日志的目录
datadir=/usr/local/mysql/data/
#设置存储节点服务器(NDB节点)
[NDBD]
hostname=db4
datadir=/usr/local/mysql/data/
#第二个NDB节点
[NDBD]
hostname=db5
datadir=/usr/local/mysql/data/
#设置SQL节点服务器
[MYSQLD]
hostname=db2
#第二个SQL节点
[MYSQLD]
hostname=db3

注释： Cluster管理节点的默认端口是1186，数据节点的默认端口2202。从MySQL 5.0.3开始，该限制已被放宽， Cluster能够根据空闲的端口自动地为数据节点分配端口。如果你的版本低于5.0.22，请注意这个细节。
五、启动MySQL Cluster
较为合理的启动顺序是，首先启动管理节点服务器，然后启动存储节点服务器，最后才启动SQL节点服务器：

在管理节点服务器上，执行以下命令启动MGM节点进程：
```
		root# /usr/local/mysql/ndb_mgmd -f /usr/local/mysql/config.ini
	
```
必须用参数“-f”或“--config-file”告诉 ndb_mgm 配置文件所在位置，默认是在ndb_mgmd相同目录下。
在每台存储节点服务器上，如果是第一次启动ndbd进程的话，必须先执行以下命令：
```
		root# /usr/local/mysql/bin/ndbd --initial
	
```
注意，仅应在首次启动ndbd时，或在备份/恢复数据或配置文件发生变化后重启ndbd时使用“--initial”参数。因为该参数会使节点删除由早期ndbd实例创建的、用于恢复的任何文件，包括用于恢复的日志文件。
如果不是第一次启动，直接运行如下命令即可：
```
		root# /usr/local/mysql/bin/ndbd
	
```

最后，运行以下命令启动SQL节点服务器：

		root# /usr/local/mysql/bin/mysqld_safe --defaults-file=/usr/local/mysql/my.cnf &

如果一切顺利，也就是启动过程中没有任何错误信息出现，那么就在管理节点服务器上运行如下命令：

		root# /usr/local/mysql/ndb_mgm
	-- NDB Cluster -- Management Client --
	ndb_mgm> SHOW
	Connected to Management Server at: localhost:1186
	Cluster Configuration
	---------------------
	[ndbd(NDB)]     2 node(s)
	id=2    @192.168.0.4  (Version: 5.0.22, Nodegroup: 0, Master)
	id=3    @192.168.0.5  (Version: 5.0.22, Nodegroup: 0)
	[ndb_mgmd(MGM)] 1 node(s)
	id=1    @192.168.0.1  (Version: 5.0.22)
	[mysqld(SQL)]   1 node(s)
	id=2   (Version: 5.0.22)
	id=3   (Version: 5.0.22)

具体的输出内容可能会略有不同，这取决于你所使用的MySQL版本。
注意：如果你正在使用较早的MySQL版本，你或许会看到引用为‘[mysqld(API)]’的SQL节点。这是一种早期的用法，现已放弃。
现在，应能在MySQL Cluster中处理数据库，表和数据。
六、创建数据库表
与没有使用 Cluster的MySQL相比，在MySQL Cluster内操作数据的方式没有太大的区别。执行这类操作时应记住两点：

表必须用ENGINE=NDB或ENGINE=NDBCLUSTER选项创建，或用ALTER TABLE选项更改，以使用NDB Cluster存储引擎在 Cluster内复制它们。如果使用mysqldump的输出从已有数据库导入表，可在文本编辑器中打开SQL脚本，并将该选项添加到任何表创建语句，或用这类选项之一替换任何已有的ENGINE（或TYPE）选项。
另外还请记住，每个NDB表必须有一个主键。如果在创建表时用户未定义主键，NDB Cluster存储引擎将自动生成隐含的主键。（注释：该隐含键也将占用空间，就像任何其他的表索引一样。由于没有足够的内存来容纳这些自动创建的键，出现问题并不罕见）。

下面是一个例子：
在db2上，创建数据表，插入数据：

[db2~]root# mysql -uroot test
[db2~]mysql> create table city(
[db2~]mysql> id mediumint unsigned not null auto_increment primary key,
[db2~]mysql> name varchar(20) not null default ''
[db2~]mysql> ) engine = ndbcluster default charset utf8;
[db2~]mysql> insert into city values(1, 'city1');
[db2~]mysql> insert into city values(2, 'city2');

在db3上，查询数据：

[db3~]root# mysql -uroot test
[db2~]mysql> select * from city;
+-----------+
|id | name  |
+-----------+
|1  | city1 |
+-----------+
|2  | city2 |
+-----------+

七、安全关闭
要想关闭 Cluster，可在MGM节点所在的机器上，在Shell中简单地输入下述命令：

	[db1~]root# /usr/local/mysql/ndb_mgm -e shutdown

运行以下命令关闭SQL节点的mysqld服务：

	[db2~]root# /usr/local/mysql/bin/mysqladmin -uroot shutdown

Linux下Mysql集群的搭建

第1章环境说明
1.1 系统说明
采用三台linux服务器，均采用centos6.2版本，最小化安装系统。
1.2 软件说明
数据库管理节点，数据库节点均采用：
mysql-cluster-gpl-7.0.8a-linux-i686-glibc23.tar.gz
1.3 拓扑结构说明
mysql集群有如下三层：
应用程序层：负责与mysql服务器通信的各种应用程序。
Mysql服务器层：处理SQL命令，并与NDB存储引擎通信和Mysql服务器。

NDB集群组件层：NDB集群组件有时也称数据节点，负责处理查询，然后将结果返回给mysql服务器。拓扑结构图如下所示：

最低0.47元/天解锁文章

小飞鹤

关注

2
点赞
踩
5

收藏

觉得还不错? 一键收藏
0
评论
关于集群的几个图解

1.使用lvs+keepalive实现集群高可用，达到更健壮的LB 我们可以做前端使用lvs来做负载均衡，根据lvs的8种调度算法(可设置)，分发请求到对应的web服务器集群上。lvs做双机热备，通过keepalived模块能够达到故障自动转移到备份服务器，不间断提供服务，结构如图：说明：据查询了解，一般在WEB端使用的负载均衡比较多的是HAProxy+keepal
复制链接

扫一扫