利用MySQLcluster构建MySQL高可用

作者：zhangshen  发表于：2014-08-19

版权声明：可以任意转载，转载时请务必以超链接形式标明文章原始出处和作者信息及本版权声明

(http://blog.csdn.net/mrz001 )

环境说明： CentOs6.5 + MySQL-Cluster 7.3.6 (最新GA版本），规划2台机器，一台做控制服务器+ 负载均衡服务器 + 数据节点服务器，另一台做 负载均衡服务器 + 数据节点服务器;

一、下载，这里为了方便安装过程，这里直接使用了RPM包来安装，避开了编译安装的痛苦：
首先先到www.msyql.com下载如下的RPM安装包 (http://dev.mysql.com/downloads/cluster/)，记得选择 Red HatEnterprise Linux/Oracle Linux 下面的MySQL-Cluster-gpl-7.3.6-2.el6.x86_64.rpm-bundle.tar 这个安装包，避免一个接一个下载的痛苦；

二、环境清理以及安装：
1. mysql旧版本清除：
首先使用如下命令来清理之前操作系统自带的mysql安装：yum -y remove mysql
然后使用如下命令：
rpm -qa | grep mysql*
对于找到的2个剩余mysql包，请按照如下的命令格式予以删除：
rpm -e --nodeps mysql-libs-5.1.71-1.el6.x86_64

2. mysql cluster版本安装准备：将MySQL-Cluster-gpl-7.3.6-1.el6.x86_64.rpm-bundle.tar放到某个目录下（譬如/package)下面，并且执行如下命令解压：
tar -xvf MySQL-Cluster-gpl-7.3.6-2.el6.x86_64.rpm-bundle.tar
得到如下文件清单：
MySQL-Cluster-devel-gpl-7.3.6-2.el6.x86_64.rpm

MySQL-Cluster-shared-compat-gpl-7.3.6-2.el6.x86_64.rpm

MySQL-Cluster-client-gpl-7.3.6-2.el6.x86_64.rpm

MySQL-Cluster-server-gpl-7.3.6-2.el6.x86_64.rpm

MySQL-Cluster-embedded-gpl-7.3.6-2.el6.x86_64.rpm

MySQL-Cluster-test-gpl-7.3.6-2.el6.x86_64.rpm

MySQL-Cluster-shared-gpl-7.3.6-2.el6.x86_64.rpm

3. mysql cluster版本安装：
   创建文件夹（分如下3个类来创建对应的文件夹）
   存储节点：mkdir -p /var/lib/mysql/data
   管理节点：mkdir /var/lib/mysql-cluster     SQL节点：可不用  文件夹授权
   进程DIR:    mkdir/var/run/mysqld             
 
  使用如下的命令来变更权限保证可写入：
  chmod -R 1777 /var/lib/mysql
   chmod -R 1777 /var/run/mysqld
   chmod -R 1777 /var/lib/mysql-cluster

rpm -ivh MySQL-Cluster-server-gpl-7.3.6-2.el6.x86_64.rpm

rpm -ivhMySQL-Cluster-client-gpl-7.3.6-2.el6.x86_64.rpm
特别注意，当安装完毕server gpl包后，将出现如下提示信息，提醒我们整个cluster安装后的初次超级账户密码存在/root/.mysql_secret这个文件当中。
---------------------------------------------------------------------------------------------------------------------
A RANDOM PASSWORD HAS BEEN SET FOR THE MySQL root USER !
You will find that password in '/root/.mysql_secret'.
You must change that password on your first connect,
no other statement but 'SET PASSWORD' will be accepted.
See the manual for the semantics of the 'password expired' flag.
Also, the account for the anonymous user has been removed.
In addition, you can run:
  /usr/bin/mysql_secure_installation
which will also give you the option of removing the test database.
This is strongly recommended for production servers.
---------------------------------------------------------------------------------------------------------------------

4. 配置文件撰写与调整：
   cd /var/lib/mysql-cluster
   vi config.ini
---------------------------------------------------------------------------------------------------------------------------
[computer]

Id=host-10-10-10-103

HostName=10.10.10.103

 

[mgmdefault]

datadir=/var/lib/mysql-cluster

 

[mgm]

HostName=10.10.10.103

NodeId=60

ExecuteOnComputer=host-10-10-10-103

PortNumber=1186

ArbitrationRank=2

 

[ndbddefault]

NoOfReplicas=2

DataMemory=8G

IndexMemory=2G

 

[ndbd]

HostName=10.10.10.103

DataDir=/var/lib/mysql

NodeId=1

 

[ndbd]

HostName=10.10.10.104

DataDir=/var/lib/mysql

NodeId=2

 

[mysqld]

HostName=10.10.10.103

NodeId=81

 

[mysqld]

HostName=10.10.10.104

NodeId=82

---------------------------------------------------------------------------------------------------------------------------
5.  配置Mysql文件：
vi /etc/my.cnf
[client]

socket=/var/lib/mysql/mysql.sock

 

[mysqld]

max_connections=100

datadir=/var/lib/mysql

socket=/var/lib/mysql/mysql.sock

ndbcluster

ndb-connectstring=10.10.10.103

 

[mysqld_safe]

log-error=/var/log/mysqld.log

pid-file=/var/run/mysqld/mysqld.pid

 

[mysql_cluster]

ndb-connectstring=10.10.10.103

---------------------------------------------------------------------------------------------------------------------------

三、SQL Cluster初次启动命令以及用户密码更改调整：（请严格按照次序启动）
执行初次启动前请先确认将两台机器的防火墙关闭（service iptables stop 或者设定 防火墙端口可通，两个端口即通讯端口1186、数据端口3306 )

vim /etc/sysconfig/iptables

-A INPUT -p tcp -m state --state NEW-m tcp --dport 1186 -j ACCEPT

-A OUTPUT -p tcp -m state --stateNEW -m tcp --sport 1186 -j ACCEPT

-A INPUT -p tcp -m state --state NEW-m tcp --dport 3306 -j ACCEPT

-A OUTPUT -p tcp -m state --stateNEW -m tcp --sport 3306 -j ACCEPT

/etc/init.d/iptablesrestart

初次启动mgt console命令：ndb_mgmd -f /var/lib/mysql-cluster/config.ini

ndb_mgmd-f /var/lib/mysql-cluster/config.ini --ndb_nodeid=1
启动均衡节点命令：             ndbd --initial
启动数据节点命令：             mysqld_safe--defaults-file=/etc/my.cnf --explicit_defaults_for_timestamp &
注意在启动过程中需要监测整个控制台输出，发现有错误信息需要及时解决，根据错误日志内容来解决。
---------------------------------------------------------------------------------------------------------
如果一起正常，使用如下命令将Management console开启：  ndb_mgm
输入： show
ndb_mgm> show
Cluster Configuration
---------------------------------------------------------------------------------------------------------
[ndbd(NDB)]     2 node(s)
id=1    @10.x.0.1  (mysql-5.6.15 ndb-7.3.6, Nodegroup: 0,*)
id=2    @10.x.0.2  (mysql-5.6.15 ndb-7.3.6, Nodegroup: 0)

[ndb_mgmd(MGM)] 1 node(s)
id=60   @10.x.0.1  (mysql-5.6.15 ndb-7.3.6)

[mysqld(API)]   2 node(s)
id=81   @10.x.0.1  (mysql-5.6.15 ndb-7.3.6)
id=82   @10.x.0.2  (mysql-5.6.15 ndb-7.3.6)
---------------------------------------------------------------------------------------------------------
修正密码：
当mysqld 启动完毕正常后（可以使用pgrep mysqld来获取进程ID)，我们可以使用如下命令修改：
mysql -u root -p;
随机密码(具体请参见/root/.mysql_secret文件获取)，进入后使用如下指令修改密码：
SET PASSWORD = PASSWORD('新密码');
几台装有SQL数据节点的服务器皆需要执行一遍上述命令；
---------------------------------------------------------------------------------------------------------

四、Cluster效果测试：
使用mysql -u root -p 密码;
输入对应的密码后登陆到系统，按照如下命令开始新建database;
create database clustertest;
use clustertest;
CREATE TABLE testtable(Count INT) ENGINE=NDBCLUSTER;
特别注意，只有使用了NDBCluster引擎的表才会执行同步操作，因此特别需要在上述表加入这个后缀；
---------------------------------------------------------------------------------------------------------

五、关闭Cluster：（需要严格按照次序执行）
关闭数据节点：mysqld stop   (SQL节点可以用mysqladminshutdown或别的方式关闭。)
在管理节点上执行：shell> ndb_mgm -e shutdown
将安全的关闭管理节点和数据节点。

关闭后使用如下的进程检测命令查看一下是否退出来了：
pgrep mysqld
ps aux | grep nbdb
如果没有，找到对应的pid进行kill 操作即可。

六、再次启动Cluster方案：
启动整个cluster的次序：
ndb_mgmd -f /var/lib/mysql-cluster/config.ini
ndbd
mysqld_safe --defaults-file=/etc/my.cnf --explicit_defaults_for_timestamp &