一、构建节点


#vim /etc/hosts


保证每个节点都是下面的内容：


172.16.4.5no1.corosql.com no1


172.16.4.6no2.corosql.com no2


配置各个节点对应的主机名：


No1：


#vim /etc/sysconfig/network


NETWORKING=yes


HOSTNAME=no1.corosql.com


No2：


#vim /etc/sysconfig/network


NETWORKING=yes


HOSTNAME=no2.corosql.com


配置完成后可以验证一下是否和当前主机名相同


#uname -n


接着建立双机互信


No1:


# ssh-keygen -t rsa


# ssh-copy-id -i ~/.ssh/id_rsa.pub root@no2.cpmysql.com


No2:


# ssh-keygen -t rsa


# ssh-copy-id -i ~/.ssh/id_rsa.pub root@no1.cpmysql.com




还要保证时间同步，可以在每个节点执行下面命令：


#crontab -e


*/3 * * * * /usr/sbin/ntpdate 172.16.0.1 &> /dev/null


表示每3分钟自动和172.16.0.1主机同步时间



查看时间是否同步(在no1主机上)


#ssh no2 ‘date’;date



二、安装与配置Corosync


crmsh-1.2.6-4.el6.x86_64.rpm ；pssh-2.3.1-2.el6.x86_64.rpm



1、在两个节点都要安装Corosync


#yum install -y corosync


2、配置文件


#cd /etc/corosync


#cp corosync.conf.example corosync.conf


#vim corosync.conf


找到并修改bindnetaddr的值


secauth: on #启用安全认证功能


bindnetaddr: 172.16.0.0 #通过哪个网段进行通信


mcastaddr: 226.94.111.111 #多播地址（实验时相互影响的时候调整）


然后添加下面的内容


service {


ver:0


name:pacemaker


}


aisexec{


user: root


group: root


}


3、生成节点之间通信时用到的密钥


#corosync-keygen


配置两个节点有相同的配置文件和认证秘钥


#scp -p corosync.conf authkey no2:/etc/corosync/


4、每个节点都要创建集群日志以确保corosync的顺利启动


# mkdir /var/log/cluster


5、关闭两个节点的NetworkManager并且禁止自动启动,打开Network


#chkconfig NetworkManager off


#service NetworkManager stop


#service network start


查看是否开启


#chkconfig --list network



三、安装配置Pacemaker，crmsh


安装 （每个节点分别安装）


crmsh官方网站


https://savannah.nongnu.org/forum/forum.php?forum_id=7672


crmsh下载地址


http://download.opensuse.org/repositories/network:/ha-clustering:/Stable/



#yum install -y pacemaker


RHEL自6.4起不再提供集群的命令行配置工具crmsh，转而使用pcs；如果你习惯了使用crm命令，可下载相关的程序包自行安装即可。crmsh依赖于pssh，因此需要一并下载。


# wgetftp://195.220.108.108/linux/opensuse/factory/repo/oss/suse/x86_64/crmsh-1.2.6-0.rc2.1.1.x86_64.rpm


# wget ftp://195.220.108.108/linux/opensuse/factory/repo/oss/suse/noarch/pssh-2.3.1-6.1.noarch.rpm



# yum -y --nogpgcheck localinstall crmsh*.rpm pssh*.rpm



四、启动corosync



# /etc/init.d/corosync start


或者


#service corosync start


启动成功后接着在节点1启动节点2


# ssh no2 "/etc/init.d/corosync start"



查看corosync引擎是否正常启动：


# grep -e "Corosync Cluster Engine" -e "configuration file"/var/log/cluster/corosync.log



查看初始化成员节点通知是否正常发出：


# grep TOTEM /var/log/cluster/corosync.log


检查启动过程中是否有错误产生。下面的错误信息表示packmaker不久之后将不再作为corosync的插件运行，因此，建议使用cman作为集群基础架构服务；此处可安全忽略。


# grep ERROR: /var/log/cluster/corosync.log | grep -v unpack_resources



查看pacemaker是否正常启动：


# grep pcmk_startup /var/log/cluster/corosync.log


启动node2上的corosync


# ssh node2 -- /etc/init.d/corosync start



查看node1上的相关日志。


# tail /var/log/cluster/corosync.log


如果安装了crmsh，可使用如下命令查看集群节点的启动状态：


# crm status



执行ps auxf命令可以查看corosync启动的各相关进程。


corosync默认启用了stonith，而当前集群并没有相应的stonith设备，因此此默认配置目前尚不可用，这可以通过如下命令验正：


# crm_verify -L -V



禁用stonith：


# crm configure property stonith-enabled=false


使用如下命令查看当前的配置信息：


# crm configure show


node no.magedu.com


node no2.magedu.com


property $id="cib-bootstrap-options" \


dc-version="1.1.8-7.el6-394e906" \


cluster-infrastructure="classic openais (with plugin)" \


expected-quorum-votes="2" \


stonith-enabled="false" #stonith已经被禁用



查看当前集群系统所支持的类型：



# crm ra classes



查看某种类别下的所用资源代理的列表，


# crm ra list lsb


# crm ra list ocf heartbeat


# crm ra list ocf pacemaker


# crm ra list stonith



五、DRBD 安装与配置



1、drbd-8.4.3-33.el6.x86_64.rpm


drbd-kmdl-2.6.32-358.el6-8.4.3-33.el6.x86_64.rpm


在两个节点分别安装这两个包


# wget ftp://195.220.108.108/linux/atrpms/el6-x86_64/atrpms/stable/drbd-8.4.3-33.el6.x86_64.rpm


# wget ftp://195.220.108.108/linux/atrpms/el6-x86_64/atrpms/stable/drbd-kmdl-2.6.32-358.6.2.el6-8.4.3-33.el6.x86_64.rpm



# rpm -vih drbd-8.4.3-33.el6.x86_64.rpm drbd-kmdl-2.6.32-358.el6-8.4.3-33.el6.x86_64.rpm


分别在两个节点创建相同大小为5G的分区(注：分区不要太大)


#fdisk /dev/sda


2、配置


# vim /etc/drbd.d/global_common.conf


**********************************************************************************


global {


usage-count no; #不参加让linbit公司收集目前drbd的使用情况


# minor-count dialog-refresh disable-ip-verification


}


common {


protocol C;


handlers {


# These are EXAMPLE handlers only.


# They may have severe implications,


# like hard resetting the node under certain circumstances.


# Be careful when chosing your poison.



pri-on-incon-degr "/usr/lib/drbd/notify-pri-on-incon-degr.sh; /usr/lib/drbd/notify-emergency-reboot.sh; echo b > /proc/sysrq-trigger ; reboot -f";


pri-lost-after-sb "/usr/lib/drbd/notify-pri-lost-after-sb.sh; /usr/lib/drbd/notify-emergency-reboot.sh; echo b > /proc/sysrq-trigger ; reboot -f";


local-io-error "/usr/lib/drbd/notify-io-error.sh; /usr/lib/drbd/notify-emergency-shutdown.sh; echo o > /proc/sysrq-trigger ; halt -f";


# fence-peer "/usr/lib/drbd/crm-fence-peer.sh";


# split-brain "/usr/lib/drbd/notify-split-brain.sh root";


# out-of-sync "/usr/lib/drbd/notify-out-of-sync.sh root";


# before-resync-target "/usr/lib/drbd/snapshot-resync-target-lvm.sh -p 15 -- -c 16k";


# after-resync-target /usr/lib/drbd/unsnapshot-resync-target-lvm.sh;


}



startup {


# wfc-timeout 120；


#degr-wfc-timeout 120；



}


disk {


# fencing resource-only；



on-io-error detach;#用分离同步错误


}



net {


# protocol timeout max-epoch-size max-buffers unplug-watermark


# connect-int ping-int sndbuf-size rcvbuf-size ko-count


# allow-two-primaries cram-hmac-alg shared-secret after-sb-0pri


# after-sb-1pri after-sb-2pri always-asbp rr-conflict


# ping-timeout data-integrity-alg tcp-cork on-congestion


# congestion-fill congestion-extents csums-alg verify-alg


# use-rle


cram-hmac-alg "sha1"; #设置加密算法sha1


shared-secret "mydrbdlab"; #设置加密key



}


syncer {


rate 1000M; #传输速率


}


}


**********************************************************************************


3、定义一个资源/etc/drbd.d/web.res，内容如下：


resource web {


on no1 {


device /dev/drbd0;


disk /dev/sda3;


address 172.16.4.5:7789;


meta-disk internal;


}


on no2 {


device /dev/drbd0;


disk /dev/sda3;


address 172.16.4.6:7789;


meta-disk internal;


}


}


同步配置的文件至另外一个节点。


#cd /etc/drbd.d/


# scp global_common.confweb.res node2:/etcdrbd.d/



4、分别初始化两个节点已定义的资源


# drbdadm create-md drbd


#ssh drbd2 "drbdadm create-md drbd"


5、分别在两个节点上启动服务:


#service drbd start



查看一下状态


# drbd-overview


# cat /proc/drbd



在要设置为Primary的节点上使用如下命令来设置主节点：


# drbdadm -- --overwrite-data-of-peer primary drbd


# drbdadm primary --force drbd



6、同步完成后，在主节点格式化挂载


#mkdir /mydata


# mke2fs -t ext4 /dev/drbd0


# mount /dev/drbd0 /mydata/


#cd /mydata


# ls


lost+found



7、测试验证一下：


# cp /etc/fstab ./


# vim fstab


做一些操作，我们把下面一行删除


proc /proc proc defaults 0 0


# cd


# umount /mnt


将主节点降级


# drbdadm secondary web



将另外的节点进行升级


# drbdadm primary web


挂载后查看文件是否变化


# mount /dev/drbd0 /mnt


# cd /mnt


# vim fstab



发现我们删除的行不再显示，说明看到的是同一个文件


到这里，drbd配置完成。



六、MySQL 安装与配置


安装Mysql


mysql-5.5.33-linux2.6-x86_64.tar.gz



参考前面博客http://qidian510.blog.51cto.com/7319882/1282064


1、在两个节点上分别操作


安装mysql


#useradd -r -u 335 mysql


#tar xf mysql-5.5.33-linux2.6-x86_64.tar.gz -C /usr/local/


#cd /usr/local/


#ln -sv mysql-5.5.33-linux2.6-x86_64 mysql


#chown -R root:mysql /usr/local/mysql/*

#cd /mydata/

#mkdir data

#chown -R mysql.mysql /mydata/data/

#cd /usr/localmysql


#scripts/mysql_install_db --user=mysql --datadir=/mytada/data


#cp support-files/mysql.server /etc/rc.d/init.d/mysqld


#chkconfig --add mysqld


#cp support-files/my-large.cnf /etc/my.cnf


2、然后编辑配置文件


找到相关设置进行修改操作


thread_concurrency = 4并发核心数， 如果物理核心为2，这里就可以填写4


datadir = /mydata/data


innodb_file_per_table = 1 每表一个表空间


# vim /etc/profile.d/mysql.sh


export PATH=/usr/local/mysql/bin:$PATH


# . /etc/profile.d/mysql.sh


4、启动服务


#service mysqld start


我们配置的主节点在no上，将/dev/drbd1挂载到/mydata/data目录下，连接到mysql查看以前创建的数据存在即可


#mount /dev/drbd0 /mydata/data


停止mysqld并且不让它们开机自动启动


#chkconfig mysqld off


#service mysqld stop


查看默认启动状态


#chkconfig mysqld --list


5、将node2节点上的DRBD设置为主节点并挂载测试



# umount /mydata/


#drbdadm secondary web#将no节点降级


#drbd-overview


#drbdadm primary web#将no2节点升级


#drbd-overview


在no2节点操作


#mount /dev/drbd0 /mydata/


#service mysqld start


查看数据是否完整



将两个节点的mysql和drbd都停掉并设定开机不会自动启动


#service mysqld stop


#chkconfig mysqld off


#chkconfig mysqld --list



#service drbd stop


#chkconfig drbd off


#chkconfig drbd --list



七、实现mysql高可用性


1、首先确保两个节点的corosync开启


#service corosync start


查看状态


#crm status


2、定义集群属性


# crm configure


# property stonith-enabled=false #禁止使用stonith


# property no-quorum-policy=ignore#表示对于只有两节点的集群，失去了quorum后集群服务仍然能够正常运行


# verify #验证是否有错误


# commit #提交定义的内容


3、定义drbd资源


# primitive my_drbd ocf:linbit:drbd params drbd_resource=drbdop monitor role=Master interval=10 timeout=20 op monitor role=Slave interval=20 timeout=20 op start timeout=240 op stop timeout=100


上面定义的资源意义：


drbd_resource #资源名称


Start timeout #启动服务的超时时长


stop timeout#关闭服务的超时时长


# master ms_my_drbd my_drbd meta master-max="1" master-node-max="1" clone-max="2" clone-node-max="1" notify="ture"


master#表示定义主资源


ms_my_drbd #主资源的名称


meta #定义额外的属性


master-max #一个集群上最多运行几个主资源


master-node-max#表示一个节点最多运行几个主资源


clone-max#定义一个群集上最多运行几个clone资源


clone-node-max#表示一个节点上最多运行几个clone资源


notify用于定义当出现故障时，是否通知对方，默认就是ture


# verify


# commit


4、测试当节点切换时资源drbd可以实现主从切换（家目录下操作）


# crm node standby #将当前的节点切换成被动节点


# crm node online #让节点上线


# drbd-overview #查看节点以及资源当前的状态



5、定义Filsystem，必须要和drbd的主节点运行在一起，用来挂载数据


# primitive mystore ocf:heartbeat:Filesystem params device="/dev/drbd0" directory="/mydata" fstype="ext4" op monitor interval=40 timeout=40 op start timeout=60 op stop timeout=60


my_fs#表示资源名称


Inf #表示my_fs和ms_my_drbd在一起的意愿是百分百


Order #定义哪个资源先运行


# colocation mystore_on_ms_my_drbd inf: mystore ms_my_drbd:Master


# order mystore_after_ms_my_drbd mandatory: ms_my_drbd:start mystore:start


#verify


#commit


6、定义IP资源


# primitive my_ip ocf:heartbeat:IPaddr2 params ip="172.16.4.10" op monitor interval=20 timeout=20 on-fail=restart


#verify



7、将MySQL服务定义成资源


# primitive myserver lsb:mysqld op monitor interval=20 timeout=20 on-fail=restart


# colocation myserver_with_mystore_with_my_ip inf:myserver mystore my_ip



# order mystore_before_myserver inf: mystore:start myserver:start


#mystore先于myserver启动


#order myserver_before_my_ip inf: myserver:start my_ip:start


#myserver先于my_ip启动


#verify


#commit



8、定义完成后进行测试


首先连接到mysql进行用户授权


mysql> grant all on *.* to root@"172.16.%.%" identified by "mypass";


mysql> flush privileges;



在另外的主机上进行测试，我们以172.16.4.11为例，先确保安装mysql客户端


#yum -y install mysql


#mysql -uroot -pmypass -h 172.16.4.11



mysql> show databases;


模拟故障（在no节点上）：


# crm node standby


从no2上访问数据库，可以访问就表示我们测试成功了