mysql集群

五台服务器篇

安装要求

安装环境：CentOS-6.3
安装方式：源码编译安装
软件名称：mysql-cluster-gpl-7.2.6-linux2.6-x86_64.tar.gz
下载地址：http://mysql.mirror.kangaroot.net/Downloads/
软件安装位置：/usr/local/mysql
数据存放位置：/var/mysql/data
日志存放位置：/var/mysql/logs

集群设计

首先设计集群的安装分配方式，我共需要5台服务器，服务器分配如下：
管理节点： 192.168.15.231
sql节点1： 192.168.15.232
sql节点2： 192.168.15.233
数据节点1： 192.168.15.234
数据节点2： 192.168.15.235
设备的连接方式如下图所示：

注意：目前这种设计存在的问题是管理节点是单点的，231挂掉后整个集群就会瘫痪，先不管这个问题，首先把这个简单的MySQL集群先搭建起来。


检查安装的mysql

检查系统中已经安装过的mysql信息，操作如下：

# rpm -qa | grep mysql
# service mysql status
如果安装过其他版本的mysql，请卸载，操作如下：

# /etc/init.d/mysqld stop //关闭目前的mysql服务
# ps -ef | grep mysql //检验mysql是否已经关闭
#如果没关闭，执行kill -9 端口号
#执行删除
rpm -e --allmatches --nodeps mysql mysql-server
rm -rf /var/lib/mysql // 删除mysql的安装目录
管理节点

管理节点安装

安装管理节点（192.168.15.231）

# groupadd mysql
# useradd mysql -g mysql
# cd /usr/local
# tar -zxv -f mysql-cluster-gpl-7.2.6-linux2.6-x86_64.tar.gz
# mv mysql-cluster-gpl-7.2.6-linux2.6-x86_64 mysql
# chown -R mysql:mysql mysql
# cd mysql
# scripts/mysql_install_db --user=mysql
管理节点配置

# mkdir /var/lib/mysql-cluster
# cd /var/lib/mysql-cluster
# vi + /var/lib/mysql-cluster/config.ini
在config.ini 中添加以下内容:

[NDBD DEFAULT]
NoOfReplicas=1
[TCP DEFAULT]
portnumber=3306
[NDB_MGMD]
#设置管理节点服务器
HostName=192.168.15.231
DataDir=/var/mysql/data
[NDBD]
#设置存储节点服务器(NDB节点)
HostName=192.168.15.234
DataDir=/var/mysql/data
[NDBD]
#第二个NDB节点
HostName=192.168.15.235
DataDir=/var/mysql/data
[MYSQLD]
#设置SQL节点服务器
HostName=192.168.15.232
[MYSQLD]
#第二个SQL节点
HostName=192.168.15.233
管理节点启动

#/usr/local/mysql/bin/ndb_mgmd -f /var/lib/mysql-cluster/config.ini
# mkdir /var/mysql/logs
# netstat -lntpu
看到tcp 0 0 0.0.0.0:1186开放说明启动正常
开启管理节点服务器的1186端口

管理节点检验

执行以下操作：

# ndb_mgm // 管理节点
-- NDB Cluster -- Management Client --
ndb_mgm> show
Connected to Management Server at: localhost:1186
Cluster Configuration
---------------------
[ndbd(NDB)] 2 node(s)
id=2 (not connected, accepting connect from 192.168.15.234)
id=3 (not connected, accepting connect from 192.168.15.235)

[ndb_mgmd(MGM)] 1 node(s)
id=1 @192.168.15.231 (mysql-5.5.22 ndb-7.2.6)

[mysqld(API)] 2 node(s)
id=4 (not connected, accepting connect from 192.168.15.232)
id=5 (not connected, accepting connect from 192.168.15.233)
管理节点关闭

# /usr/local/mysql/bin/ndb_mgm -e shutdown
#成功后终端打印出以下信息
Connected to Management Server at: 192.168.15.236:1186
3 NDB Cluster node(s) have shutdown.
Disconnecting to allow management server to shutdown.
数据节点

数据节点安装

数据节点1： 192.168.15.234
数据节点2： 192.168.15.235

# groupadd mysql
# useradd mysql -g mysql
# cd /usr/local
# tar -zxv -f mysql-cluster-gpl-7.2.6-linux2.6-x86_64.tar.gz
# mv mysql-cluster-gpl-7.2.6-linux2.6-x86_64 mysql
# chown -R mysql:mysql mysql
# cd mysql
# scripts/mysql_install_db --user=mysql
# cp support-files/my-medium.cnf /etc/my.cnf
# cp support-files/mysql.server /etc/init.d/mysqld
数据节点配置

对数据节点进行配置，执行以下操作：

# mkdir /var/mysql/data
# mkdir /var/mysql/logs
# vi /etc/my.cnf
向文件追加以下内容：

[MYSQLD]
ndbcluster
ndb-connectstring=192.168.15.231
[MYSQL_CLUSTER]
ndb-connectstring=192.168.15.231
[NDB_MGM]
connect-string=192.168.15.231
数据节点启动

启动此处时，管理节点服务器防火墙必须开启1186,3306端口。
注意：只是在第一次启动或在备份／恢复或配置变化后重启ndbd时，才加–initial参数！
第一次启动如下：

#/usr/local/mysql/bin/ndbd --initial
2013-01-30 13:43:53 [ndbd] INFO -- Angel connected to '192.168.15.231:1186'
2013-01-30 13:43:53 [ndbd] INFO -- Angel allocated nodeid: 2
正常启动方式：

# /usr/local/mysql/bin/ndbd
数据节点关闭

# /etc/rc.d/init.d/mysqld stop
或者

# /etc/init.d/mysql stop
Shutting down MySQL.. SUCCESS!
/usr/local/mysql/bin/mysqladmin -uroot shutdown
SQL节点安装

SQL节点安装

SQL节点和存储节点(NDB节点)安装相同，都执行以下操作；
sql节点1： 192.168.15.232
sql节点2： 192.168.15.233

# groupadd mysql
# useradd mysql -g mysql
# cd /usr/local
# tar -zxv -f mysql-cluster-gpl-7.2.6-linux2.6-x86_64.tar.gz
# mv mysql-cluster-gpl-7.2.6-linux2.6-x86_64 mysql
# chown -R mysql:mysql mysql
# cd mysql
# scripts/mysql_install_db --user=mysql
# cp support-files/my-medium.cnf /etc/my.cnf
# cp support-files/mysql.server /etc/init.d/mysqld
SQL节点配置

执行以下操作：

# mkdir /var/mysql/data //创建存储数据的文件夹
# mkdir /var/mysql/logs //创建存储日志的文件夹
# vi /usr/local/mysql/my.cnf //修改配置文件
追加以下内容：

[MYSQLD]
ndbcluster
ndb-connectstring=192.168.15.231
[MYSQL_CLUSTER]
ndb-connectstring=192.168.15.231
[NDB_MGM]
connect-string=192.168.15.231
SQL节点启动

执行以下操作：

# service mysqld start
Starting MySQL.. SUCCESS!
SQL节点关闭

最直接的方式：

# /usr/local/mysql/bin/mysqladmin -uroot shutdown
# /etc/rc.d/init.d/mysqld stop
或者

# /etc/init.d/mysql stop
Shutting down MySQL.. SUCCESS!
功能测试

在管理节点（192.168.15.231）上查看服务状态

# /usr/local/mysql/bin/ndb_mgm

-- NDB Cluster -- Management Client --
ndb_mgm> show
Cluster Configuration
---------------------
[ndbd(NDB)] 2 node(s)
id=2 @192.168.15.234 (mysql-5.5.22 ndb-7.2.6, Nodegroup: 0, Master)
id=3 @192.168.15.235 (mysql-5.5.22 ndb-7.2.6, Nodegroup: 1)

[ndb_mgmd(MGM)] 1 node(s)
id=1 @192.168.15.231 (mysql-5.5.22 ndb-7.2.6)

[mysqld(API)] 2 node(s)
id=4 @192.168.15.232 (mysql-5.5.22 ndb-7.2.6)
id=5 @192.168.15.233 (mysql-5.5.22 ndb-7.2.6)
可以看到这里的数据节点、管理节点、sql节点都是正常的。
注意：

在建表的时候一定要用ENGINE=NDB或ENGINE=NDBCLUSTER指定使用NDB集群存储引擎，或用ALTER TABLE选项更改表的存储引擎。
NDB表必须有一个主键，因此创建表的时候必须定义主键，否则NDB存储引擎将自动生成隐含的主键。
Sql节点的用户权限表仍然采用MYISAM存储引擎保存的，所以在一个Sql节点创建的MySql用户只能访问这个节点，如果要用同样的用户访
问别的Sql节点，需要在对应的Sql节点追加用户。虽然在MySql Cluster7.2版本开始提供了”用户权限共享”。
数据同步性测试

在一个数据节点上进行相关数据库的创建，然后到另外一个数据节点上看看数据是否同步。

第1步：
SQL节点1（192.168.15.232）上增加数据：

# /etc/rc.d/init.d/mysqld status //检验mysql是否运行
# /etc/rc.d/init.d/mysqld start //启动mysql
# /usr/local/mysql/bin/mysql -u root -p
Enter password:
mysql> show databases;
mysql> create database testdb2;
mysql> use testdb2;
mysql> CREATE TABLE td_test2 (i INT) ENGINE=NDB;
//这里必须指定数据库表的引擎为NDBCLUSTER，与配置文件中的名称相同
mysql> INSERT INTO td_test2() VALUES (1);
mysql> INSERT INTO td_test2() VALUES (152);
mysql> SELECT * FROM td_test2;
第2步：
进入到SQL节点2（192.168.15.233）上查看数据

mysql> use testdb2;
Database changed
mysql> SELECT * FROM td_test2;
+------+
| i |
+------+
| 126 |
| 1 |
+------+
2 rows in set (0.01 sec)
查看表的引擎是不是NDB：

>show create table td_test2;
第3步：
反向测试，SQL节点2（192.168.15.233）上增加数据：

mysql> create database bb;
mysql> use bb;
mysql> CREATE TABLE td_test3 (i INT) ENGINE=NDB;
mysql> INSERT INTO td_test3 () VALUES (98);
mysql> SELECT * FROM td_test3;
SQL节点1（192.168.15.232）上查看数据：

mysql> use bb;
Database changed
mysql> SELECT * FROM td_test3;
+------+
| i |
+------+
| 98 |
+------+
1 row in set (0.00 sec)
关闭集群

先关闭管理节点，然后关闭SQL节点和数据节点。

集群启动操作顺序

要再次启动集群，按照以下顺序执行：
管理节点 -> 数据节点 –> SQL节点注意：此次启动数据节点时不要加”–initial”参数。

安装及测试中的错误

启动中的错误

错误提示：
Can't connect to local MySQL server through socket '/tmp/mysql.sock' (2)
解决办法1（端口占用） netstat -anp |grep 3306
kill -9 进程号
解决办法1（权限问题） # chown -R mysql:mysql /var/mysql //修改自定义文件夹的访问权限


三台服务器篇

一、介绍

========
这篇文档旨在介绍如何安装配置基于2台服务器的MySQL集群。并且实现任意一台服务器出现问题或宕机时MySQL依然能够继续运行。

注意！
虽
然这是基于2台服务器的MySQL集群，但也必须有额外的第三台服务器作为管理节点，但这台服务器可以在集群启动完成后关闭。同时需要注意的是
并不推荐在集群启动完成后关闭作为管理节点的服务器。尽管理论上可以建立基于只有2台服务器的MySQL集群，但是这样的架构，一旦一台服务器宕机之后集
群就无法继续正常工作了，这样也就失去了集群的意义了。出于这个原因，就需要有第三台服务器作为管理节点运行。

另外，可能很多朋友都没有3台服务器的实际环境，可以考虑在VMWare或其他虚拟机中进行实验。

下面假设这3台服务的情况：

Server1: mysql1.vmtest.net 192.168.0.1
Server2: mysql2.vmtest.net 192.168.0.2
Server3: mysql3.vmtest.net 192.168.0.3
Servers1
和Server2作为实际配置MySQL集群的服务器。对于作为管理节点的Server3则要求较低，只需对Server3的系
统进行很小的调整并且无需安装MySQL，Server3可以使用一台配置较低的计算机并且可以在Server3同时运行其他服务。

二、在Server1和Server2上安装MySQL
=================================
从http://www.mysql.com上下载mysql-max-4.1.9-pc-linux-gnu-i686.tar.gz
注意：必须是max版本的MySQL，Standard版本不支持集群部署！

以下步骤需要在Server1和Server2上各做一次

# mv mysql-max-4.1.9-pc-linux-gnu-i686.tar.gz /usr/local/
# cd /usr/local/
# groupadd mysql
# useradd -g mysql mysql
# tar -zxvf mysql-max-4.1.9-pc-linux-gnu-i686.tar.gz
# rm -f mysql-max-4.1.9-pc-linux-gnu-i686.tar.gz
# mv mysql-max-4.1.9-pc-linux-gnu-i686 mysql
# cd mysql
# scripts/mysql_install_db --user=mysql
# chown -R root .
# chown -R mysql data
# chgrp -R mysql .
# cp support-files/mysql.server /etc/rc.d/init.d/mysqld
# chmod +x /etc/rc.d/init.d/mysqld
# chkconfig --add mysqld
此时不要启动MySQL！

三、安装并配置管理节点服务器(Server3)
=====================================
作为管理节点服务器，Server3需要ndb_mgm和ndb_mgmd两个文件：

从http://www.mysql.com上下载mysql-max-4.1.9-pc-linux-gnu-i686.tar.gz

# mkdir /usr/src/mysql-mgm
# cd /usr/src/mysql-mgm
# tar -zxvf mysql-max-4.1.9-pc-linux-gnu-i686.tar.gz
# rm mysql-max-4.1.9-pc-linux-gnu-i686.tar.gz
# cd mysql-max-4.1.9-pc-linux-gnu-i686
# mv bin/ndb_mgm .
# mv bin/ndb_mgmd .
# chmod +x ndb_mg*
# mv ndb_mg* /usr/bin/
# cd
# rm -rf /usr/src/mysql-mgm
现在开始为这台管理节点服务器建立配置文件：

# mkdir /var/lib/mysql-cluster
# cd /var/lib/mysql-cluster
# vi config.ini
在config.ini中添加如下内容：

[NDBD DEFAULT]
NoOfReplicas=2
[MYSQLD DEFAULT]
[NDB_MGMD DEFAULT]
[TCP DEFAULT]
# Managment Server
[NDB_MGMD]
HostName=192.168.0.3 #管理节点服务器Server3的IP地址
# Storage Engines
[NDBD]
HostName=192.168.0.1 #MySQL集群Server1的IP地址
DataDir= /var/lib/mysql-cluster
[NDBD]
HostName=192.168.0.2 #MySQL集群Server2的IP地址
DataDir=/var/lib/mysql-cluster
# 以下2个[MYSQLD]可以填写Server1和Server2的主机名。
# 但为了能够更快的更换集群中的服务器，推荐留空，否则更换服务器后必须对这个配置进行更改。
[MYSQLD]
[MYSQLD]
保存退出后，启动管理节点服务器Server3：
# ndb_mgmd

启动管理节点后应该注意，这只是管理节点服务，并不是管理终端。因而你看不到任何关于启动后的输出信息。

四、配置集群服务器并启动MySQL
=============================
在Server1和Server2中都需要进行如下改动：

# vi /etc/my.cnf
[mysqld]
ndbcluster
ndb-connectstring=192.168.0.3 #Server3的IP地址
[mysql_cluster]
ndb-connectstring=192.168.0.3 #Server3的IP地址
保存退出后，建立数据目录并启动MySQL：

# mkdir /var/lib/mysql-cluster
# cd /var/lib/mysql-cluster
# /usr/local/mysql/bin/ndbd --initial
# /etc/rc.d/init.d/mysqld start
可以把/usr/local/mysql/bin/ndbd加到/etc/rc.local中实现开机启动。
注意：只有在第一次启动ndbd时或者对Server3的config.ini进行改动后才需要使用--initial参数！

五、检查工作状态
================
回到管理节点服务器Server3上，并启动管理终端：

# /usr/bin/ndb_mgm
键入show命令查看当前工作状态：（下面是一个状态输出示例）

# /usr/bin/ndb_mgm
-- NDB Cluster -- Management Client --
ndb_mgm> show
Connected to Management Server at: localhost:1186
Cluster Configuration
---------------------
[ndbd(NDB)] 2 node(s)
id=2 @192.168.0.1 (Version: 4.1.9, Nodegroup: 0, Master)
id=3 @192.168.0.2 (Version: 4.1.9, Nodegroup: 0)
[ndb_mgmd(MGM)] 1 node(s)
id=1 @192.168.0.3 (Version: 4.1.9)

[mysqld(API)] 2 node(s)
id=4 (Version: 4.1.9)
id=5 (Version: 4.1.9)

ndb_mgm>
如果上面没有问题，现在开始测试MySQL：
注意，这篇文档对于MySQL并没有设置root密码，推荐你自己设置Server1和Server2的MySQL root密码。

在Server1中：

# /usr/local/mysql/bin/mysql -u root -p
> use test;
> CREATE TABLE ctest (i INT) ENGINE=NDBCLUSTER;
> INSERT INTO ctest () VALUES (1);
> SELECT * FROM ctest;
应该可以看到1 row returned信息（返回数值1）。

如果上述正常，则换到Server2上重复上面的测试，观察效果。如果成功，则在Server2中执行INSERT再换回到Server1观察是否工作正常。
如果都没有问题，那么恭喜成功！

六、破坏性测试
==============
将Server1或Server2的网线拔掉，观察另外一台集群服务器工作是否正常（可以使用SELECT查询测试）。测试完毕后，重新插入网线即可。

如果你接触不到物理服务器，也就是说不能拔掉网线，那也可以这样测试：
在Server1或Server2上：

# ps aux | grep ndbd
将会看到所有ndbd进程信息：

root 5578 0.0 0.3 6220 1964 ? S 03:14 0:00 ndbd
root 5579 0.0 20.4 492072 102828 ? R 03:14 0:04 ndbd
root 23532 0.0 0.1 3680 684 pts/1 S 07:59 0:00 grep ndbd

然后杀掉一个ndbd进程以达到破坏MySQL集群服务器的目的：

# kill -9 5578 5579

之后在另一台集群服务器上使用SELECT查询测试。并且在管理节点服务器的管理终端中执行show命令会看到被破坏的那台服务器的状态。
测试完成后，只需要重新启动被破坏服务器的ndbd进程即可：

# ndbd
注意！前面说过了，此时是不用加--inital参数的！

至此，MySQL集群就配置完成了！


mysql_upgrade -uroot -p