————————————————————————————————————————————————————————————
这里可以忽略:(突然想到的小命令)
小知识点:
# cat /etc/sysconfig/i18n
LANG="zh_CN.UTF-8"
# LANG=zh_CN.UTF-8
# yum grouplist
# yum list
# LANG=en
# yum grouplist
# yum provides */pxelinux.0
#yum -y install cmatrix-1.2a-1.i386.rpm(利用yum装本地软件包)
#dd if=/dev/zero of=/myfile bs=1024M count=2
#top -d 1
(按大M P 是按内存和cpu使用排序,按小k 输入pid按两个enter就直接杀死最高的进程)
#dd if=/dev/zero of=/file bs=10M count=2
# du -shl /file
20M /file
# dd if=/dev/zero of=/mm bs=10 count=2 (默认字节)
记录了2+0 的读入
记录了2+0 的写出
20字节(20 B)已复制,0.000273531 秒,73.1 kB/秒
# du -shl /mm
4.0K /mm
#pidof httpd
#kill $(pidof httpd)
lvm逻辑卷 clvm集群逻辑卷
#vim /etc/lvm/lvm.conf 中可设置本地逻辑卷和集群逻辑卷
locking_type=1 (本地逻辑卷)
locking_type=3 (集群逻辑卷)
—————————————————————————————————————————————
___________________________________________________________________________________________
RHCS的CMAN分布式集群管理:
RHCS红帽集群套件
RHCS通过GF文件系统有16个日志区,可以挂载16个地方最多
RHCS核心组件:cman-集群管理器 rgmanger集群资源管理器 corosync集群间通信软件 ricci集群远程管理器
CMAN(分布式集群管理器):运行在全部节点上,提供集群管理任务,用于管理集群成员,消息和通知。根据每个节点的运行状态,统计法定节点数作为集群是否存活的依据
群集管理要工作需要满足法定节点(票数):n/2+1. 当一个共享的节点坏了,可以切换用电源Fence和存储Fence (所以一般最少法定接点为双节点,也就是三台机器,群集管理可以运行)
+++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++
heart-beat:心跳
集群存活依据:法定节点计数
采用投票机制,默认每个节点投1票
集群可以工作需要满足的票数是:floor(n/2 + 1)
1.配置三台虚拟机,前两台作为集群节点,第三台用于存储。192.168.4.0/24和192.168.2.0用于存储网络,201.1.1.0/24用于公共网络,201.1.2.0/24用于内部管理
vh01.tedu.cn:
eth0:192.168.4.1/24
eth1:192.168.2.1/24
eth2:201.1.1.1/24
eth3:201.1.2.1/24
vh02.tedu.cn:
192.168.4.2/24
192.168.2.2/24
201.1.1.2/24
201.1.2.1/24
vh03.tedu.cn需要添加一块额外硬盘
192.168.4.3/24
192.168.2.3/24
eth3:201.1.2.3/24
2.配置yum。
[192.168.4.11_pub_iso_]
name=added from: ftp://192.168.4.11/pub/iso/
baseurl=ftp://192.168.4.11/pub/iso/
enabled=1
gpgcheck=0
[HighAvailability]
name=HighAvailability
baseurl=ftp://192.168.4.11/pub/iso/HighAvailability
enabled=1
gpgcheck=0
[LoadBalancer]
name=LoadBalancer
baseurl=ftp://192.168.4.11/pub/iso/LoadBalancer
enabled=1
gpgcheck=0
[ResilientStorage]
name=ResilientStorage
baseurl=ftp://192.168.4.11/pub/iso/ResilientStorage
enabled=1
gpgcheck=0
[ScalableFileSystem]
name=ScalableFileSystem
baseurl=ftp://192.168.4.11/pub/iso/ScalableFileSystem
enabled=1
gpgcheck=0
# yum repolist
#scp /etc/yum.repos.d/192.168.4.11_pub_iso_.repo root@192.168.4.2:/etc/yum.repos.d/
#scp /etc/yum.repos.d/192.168.4.11_pub_iso_.repo root@192.168.4.3:/etc/yum.repos.d/
三台yum搭好
3.配置名称解析,在每个节点上都修改hosts文件
# vim /etc/hosts
201.1.1.1 vh01.public.tedu.cn
201.1.2.1 vh01.private.tedu.cn vh01
201.1.1.2 vh02.public.tedu.cn
201.1.2.2 vh02.private.tedu.cn vh02
201.1.2.3 vh03.private.tedu.cn vh03
201.1.2.254 host.tedu.cn
## ping vh02.private.tedu.cn
PING vh02.private.tedu.cn (201.1.2.2) 56(84) bytes of data.
4.关闭NetworkManager
5.在vh03上配置iscsi服务
(添加的硬盘做共享存储先分区)
#parted /dev/vdb
mktab
gpt
mkpart
primary
ext4
1M
-1
quit
(划分这个磁盘所有空间)
#yum install -y scsi-target-utils
#vim /etc/tgt/targets.conf
<target iqn.2017-03.cn.tedu.nsd1611:clu>
backing-store /dev/vdb1
initiator-address 192.168.4.1
initiator-address 192.168.4.2
initiator-address 192.168.2.1
initiator-address 192.168.2.2
</target>
#service tgtd start;chkconfig tgtd on
#tgt-admin -s (必须能看到LUN1,说明共享了)
6.在vh01和vh02上配置iscsi客户端
#yum install -y iscsi-initiator-utils
#man iscsiadm
#iscsiadm --mode discoverydb --type sendtargets --portal 192.168.2.3 --discover
#iscsiadm --mode discoverydb --type sendtargets --portal 192.168.4.3 --discover
#service iscsi restart
#chkconfig iscsi on; chkconfig iscsid on
7。在vh01和vh02配置多路径
vh01:
# yum -y install device-mapper-multipath
#mpathconf --user_friendly_names n
# scsi_id --whitelisted --device=/dev/sda
1IET 00010001
#vim /etc/multipath.conf
25 defaults {
26 user_friendly_names no
27 getuid_callout "lib/udev/scsi_id --whitelisted --device=/dev/%n"
28 }
29
30 multipaths {
31 multipath {
32 wwid "1IET 00010001"
33 alias mpatha
34 }
35 }
#service multipathd restart; chkconfig multipathd on
#ls /dev/mapper
mpatha 。。。。
#lsblk
vh02:
#yum -y install device-mapper-multipath
vh01:
#scp /etc/multipath.conf root@201.1.1.2:/etc/
vh02:
#service multipathd restart; chkconfig multipathd on
#ls /dev/mapper
mpatha 。。。。
#lsblk (发现两条路径)
8.在vh01和vh02上安装ricci
#yum -y install ricci
#echo 123456 |passwd --stdin ricci
#service ricci start; chkconfig ricci on
9.在vh03上安装luci(web管理工具,想在哪管理就安装在哪)
#yum -y install -y luci
service luci start; chkconfig ricci on
10.在物理机上(192.168.4.254)连接https://vh03.private.tedu.cn:8084/ ++++(8804?)
接受信任 用户名是:vh03的root 还有密码
在/etc/hosts/添加:(才能访问)
201.1.1.1 vh01.public.tedu.cn
201.1.2.1 vh01.private.tedu.cn vh01
201.1.1.2 vh02.public.tedu.cn
201.1.2.2 vh02.private.tedu.cn vh02
201.1.2.3 vh03.private.tedu.cn vh03
201.1.2.254 host.tedu.cn
11.
进入web页面后(添加节点):
Node Name Password Ricci Hostname Ricci Port
vh01.private.tedu.cn 123456 vh01.private.tedu.cn
vh02.private.tedu.cn 123456 vh02.private.tedu.cn
12.在物理主机上(192.168.4.254)配置fence服务
# yum -y install fence-virtd fence-virtd-libvirt fence-virtd-multicast
#fence_virtd -c
一直默认出现下面再改
Interface [none]: public2
Backend module [checkpoint]: libvirt
Replace /etc/fence_virt.conf with the above [y/N]? y
# dd if=/dev/urandom of=/etc/cluster/fence_xvm.key bs=4k count=1 (urandom生成的一个4k随机的字符,如果是zero生成的全部是0就是空白,安全系数不高)
记录了1+0 的读入
记录了1+0 的写出
4096字节(4.1 kB)已复制,0.00125856 秒,3.3 MB/秒
[root@room1pc01 桌面]# scp /etc/cluster/fence_xvm.key root@201.1.2.1:/etc/cluster/
[root@room1pc01 桌面]# ^2.1^2.2
[root@room1pc01 桌面]# service fence_virtd start; chkconfig fence_virtd on
13.在web页面上配置Fence Devices,先配置Nodes(节点)
14.在web页面上配置failover domain
15.配置web集群资源Resources
1)在两个节点上安装apache,但是不要起服务
2)创建floating ip(vip)资源
3)共享存储:
vh01:
# parted /dev/mapper/mpatha
(parted) mktab gpt
(parted) mkpart primary ext4 1M 10%
(parted) quit
# mkfs.ext4 /dev/mapper/mpathap1
# lsblk
vh02:
# partprobe;multipath -rr
# lsblk
#mount /dev/mapper/mpathap1 /dvar/www/html
#vim /var/www/html/index.html
<marquee><font size="30" color="red">RHCS WEB SITE</font></marquee>
#umount /var/www/html/
16.把资源组合成资源组,资源组就是一个集群服务
在web页面上提交之前,先在vh02上运行
#clustat -i 1
17.验证(当vh02在监控时,可以看到是哪一个节点在跑服务共享,当一台节点挂了,另一台马上切换)
在vh01上查看相关资源
#ip a s eth2(能看到虚ip)
#df
#netstat -anptu |grep :80
#ls /etc/cluster/ 出现apache工作目录
测试服务切换 vh01
#iptables -A INPTU -j DROP (vh01会重启,这时共享节点切在vh02上)
18.再加一个集群管理mysql服务。
在web页面上:1先添加一个mysql的 :failover domain
2.添加mysql的resource: IP Address Script File System (这个虚拟ip是用于内部管理的网段中的ip,也就是和管理接口在一个方向的)
vh01:
#yum -y install mysql-server
# parted /dev/mapper/mpatha
(parted) print
(parted) mkpart primary ext4 5369M 50%
(parted) quit
# mkfs.ext4 /dev/mapper/mpathap2
# lsblk
vh02:
#yum -y install mysql-server
# partprobe;multipath -rr
# lsblk
3.在web页面上:为mysql添加一个server group组,之后把前面所添加的三个资源放在一个组里,提交前,先打开vh02监控页面。再测试,像上面一样
(这里要注意:在2.选择mysql中选择Script 用脚本启动 /etc/init.d/mysqld,设置虚拟ip时,子网掩码用24, 选择文件系统时: /var/lib/mysqld /dev/mapper/mpathap2
这里可以忽略:(突然想到的小命令)
小知识点:
# cat /etc/sysconfig/i18n
LANG="zh_CN.UTF-8"
# LANG=zh_CN.UTF-8
# yum grouplist
# yum list
# LANG=en
# yum grouplist
# yum provides */pxelinux.0
#yum -y install cmatrix-1.2a-1.i386.rpm(利用yum装本地软件包)
#dd if=/dev/zero of=/myfile bs=1024M count=2
#top -d 1
(按大M P 是按内存和cpu使用排序,按小k 输入pid按两个enter就直接杀死最高的进程)
#dd if=/dev/zero of=/file bs=10M count=2
# du -shl /file
20M /file
# dd if=/dev/zero of=/mm bs=10 count=2 (默认字节)
记录了2+0 的读入
记录了2+0 的写出
20字节(20 B)已复制,0.000273531 秒,73.1 kB/秒
# du -shl /mm
4.0K /mm
#pidof httpd
#kill $(pidof httpd)
lvm逻辑卷 clvm集群逻辑卷
#vim /etc/lvm/lvm.conf 中可设置本地逻辑卷和集群逻辑卷
locking_type=1 (本地逻辑卷)
locking_type=3 (集群逻辑卷)
—————————————————————————————————————————————
___________________________________________________________________________________________
RHCS的CMAN分布式集群管理:
RHCS红帽集群套件
RHCS通过GF文件系统有16个日志区,可以挂载16个地方最多
RHCS核心组件:cman-集群管理器 rgmanger集群资源管理器 corosync集群间通信软件 ricci集群远程管理器
CMAN(分布式集群管理器):运行在全部节点上,提供集群管理任务,用于管理集群成员,消息和通知。根据每个节点的运行状态,统计法定节点数作为集群是否存活的依据
群集管理要工作需要满足法定节点(票数):n/2+1. 当一个共享的节点坏了,可以切换用电源Fence和存储Fence (所以一般最少法定接点为双节点,也就是三台机器,群集管理可以运行)
+++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++
heart-beat:心跳
集群存活依据:法定节点计数
采用投票机制,默认每个节点投1票
集群可以工作需要满足的票数是:floor(n/2 + 1)
1.配置三台虚拟机,前两台作为集群节点,第三台用于存储。192.168.4.0/24和192.168.2.0用于存储网络,201.1.1.0/24用于公共网络,201.1.2.0/24用于内部管理
vh01.tedu.cn:
eth0:192.168.4.1/24
eth1:192.168.2.1/24
eth2:201.1.1.1/24
eth3:201.1.2.1/24
vh02.tedu.cn:
192.168.4.2/24
192.168.2.2/24
201.1.1.2/24
201.1.2.1/24
vh03.tedu.cn需要添加一块额外硬盘
192.168.4.3/24
192.168.2.3/24
eth3:201.1.2.3/24
2.配置yum。
[192.168.4.11_pub_iso_]
name=added from: ftp://192.168.4.11/pub/iso/
baseurl=ftp://192.168.4.11/pub/iso/
enabled=1
gpgcheck=0
[HighAvailability]
name=HighAvailability
baseurl=ftp://192.168.4.11/pub/iso/HighAvailability
enabled=1
gpgcheck=0
[LoadBalancer]
name=LoadBalancer
baseurl=ftp://192.168.4.11/pub/iso/LoadBalancer
enabled=1
gpgcheck=0
[ResilientStorage]
name=ResilientStorage
baseurl=ftp://192.168.4.11/pub/iso/ResilientStorage
enabled=1
gpgcheck=0
[ScalableFileSystem]
name=ScalableFileSystem
baseurl=ftp://192.168.4.11/pub/iso/ScalableFileSystem
enabled=1
gpgcheck=0
# yum repolist
#scp /etc/yum.repos.d/192.168.4.11_pub_iso_.repo root@192.168.4.2:/etc/yum.repos.d/
#scp /etc/yum.repos.d/192.168.4.11_pub_iso_.repo root@192.168.4.3:/etc/yum.repos.d/
三台yum搭好
3.配置名称解析,在每个节点上都修改hosts文件
# vim /etc/hosts
201.1.1.1 vh01.public.tedu.cn
201.1.2.1 vh01.private.tedu.cn vh01
201.1.1.2 vh02.public.tedu.cn
201.1.2.2 vh02.private.tedu.cn vh02
201.1.2.3 vh03.private.tedu.cn vh03
201.1.2.254 host.tedu.cn
## ping vh02.private.tedu.cn
PING vh02.private.tedu.cn (201.1.2.2) 56(84) bytes of data.
4.关闭NetworkManager
5.在vh03上配置iscsi服务
(添加的硬盘做共享存储先分区)
#parted /dev/vdb
mktab
gpt
mkpart
primary
ext4
1M
-1
quit
(划分这个磁盘所有空间)
#yum install -y scsi-target-utils
#vim /etc/tgt/targets.conf
<target iqn.2017-03.cn.tedu.nsd1611:clu>
backing-store /dev/vdb1
initiator-address 192.168.4.1
initiator-address 192.168.4.2
initiator-address 192.168.2.1
initiator-address 192.168.2.2
</target>
#service tgtd start;chkconfig tgtd on
#tgt-admin -s (必须能看到LUN1,说明共享了)
6.在vh01和vh02上配置iscsi客户端
#yum install -y iscsi-initiator-utils
#man iscsiadm
#iscsiadm --mode discoverydb --type sendtargets --portal 192.168.2.3 --discover
#iscsiadm --mode discoverydb --type sendtargets --portal 192.168.4.3 --discover
#service iscsi restart
#chkconfig iscsi on; chkconfig iscsid on
7。在vh01和vh02配置多路径
vh01:
# yum -y install device-mapper-multipath
#mpathconf --user_friendly_names n
# scsi_id --whitelisted --device=/dev/sda
1IET 00010001
#vim /etc/multipath.conf
25 defaults {
26 user_friendly_names no
27 getuid_callout "lib/udev/scsi_id --whitelisted --device=/dev/%n"
28 }
29
30 multipaths {
31 multipath {
32 wwid "1IET 00010001"
33 alias mpatha
34 }
35 }
#service multipathd restart; chkconfig multipathd on
#ls /dev/mapper
mpatha 。。。。
#lsblk
vh02:
#yum -y install device-mapper-multipath
vh01:
#scp /etc/multipath.conf root@201.1.1.2:/etc/
vh02:
#service multipathd restart; chkconfig multipathd on
#ls /dev/mapper
mpatha 。。。。
#lsblk (发现两条路径)
8.在vh01和vh02上安装ricci
#yum -y install ricci
#echo 123456 |passwd --stdin ricci
#service ricci start; chkconfig ricci on
9.在vh03上安装luci(web管理工具,想在哪管理就安装在哪)
#yum -y install -y luci
service luci start; chkconfig ricci on
10.在物理机上(192.168.4.254)连接https://vh03.private.tedu.cn:8084/ ++++(8804?)
接受信任 用户名是:vh03的root 还有密码
在/etc/hosts/添加:(才能访问)
201.1.1.1 vh01.public.tedu.cn
201.1.2.1 vh01.private.tedu.cn vh01
201.1.1.2 vh02.public.tedu.cn
201.1.2.2 vh02.private.tedu.cn vh02
201.1.2.3 vh03.private.tedu.cn vh03
201.1.2.254 host.tedu.cn
11.
进入web页面后(添加节点):
Node Name Password Ricci Hostname Ricci Port
vh01.private.tedu.cn 123456 vh01.private.tedu.cn
vh02.private.tedu.cn 123456 vh02.private.tedu.cn
12.在物理主机上(192.168.4.254)配置fence服务
# yum -y install fence-virtd fence-virtd-libvirt fence-virtd-multicast
#fence_virtd -c
一直默认出现下面再改
Interface [none]: public2
Backend module [checkpoint]: libvirt
Replace /etc/fence_virt.conf with the above [y/N]? y
# dd if=/dev/urandom of=/etc/cluster/fence_xvm.key bs=4k count=1 (urandom生成的一个4k随机的字符,如果是zero生成的全部是0就是空白,安全系数不高)
记录了1+0 的读入
记录了1+0 的写出
4096字节(4.1 kB)已复制,0.00125856 秒,3.3 MB/秒
[root@room1pc01 桌面]# scp /etc/cluster/fence_xvm.key root@201.1.2.1:/etc/cluster/
[root@room1pc01 桌面]# ^2.1^2.2
[root@room1pc01 桌面]# service fence_virtd start; chkconfig fence_virtd on
13.在web页面上配置Fence Devices,先配置Nodes(节点)
14.在web页面上配置failover domain
15.配置web集群资源Resources
1)在两个节点上安装apache,但是不要起服务
2)创建floating ip(vip)资源
3)共享存储:
vh01:
# parted /dev/mapper/mpatha
(parted) mktab gpt
(parted) mkpart primary ext4 1M 10%
(parted) quit
# mkfs.ext4 /dev/mapper/mpathap1
# lsblk
vh02:
# partprobe;multipath -rr
# lsblk
#mount /dev/mapper/mpathap1 /dvar/www/html
#vim /var/www/html/index.html
<marquee><font size="30" color="red">RHCS WEB SITE</font></marquee>
#umount /var/www/html/
16.把资源组合成资源组,资源组就是一个集群服务
在web页面上提交之前,先在vh02上运行
#clustat -i 1
17.验证(当vh02在监控时,可以看到是哪一个节点在跑服务共享,当一台节点挂了,另一台马上切换)
在vh01上查看相关资源
#ip a s eth2(能看到虚ip)
#df
#netstat -anptu |grep :80
#ls /etc/cluster/ 出现apache工作目录
测试服务切换 vh01
#iptables -A INPTU -j DROP (vh01会重启,这时共享节点切在vh02上)
18.再加一个集群管理mysql服务。
在web页面上:1先添加一个mysql的 :failover domain
2.添加mysql的resource: IP Address Script File System (这个虚拟ip是用于内部管理的网段中的ip,也就是和管理接口在一个方向的)
vh01:
#yum -y install mysql-server
# parted /dev/mapper/mpatha
(parted) print
(parted) mkpart primary ext4 5369M 50%
(parted) quit
# mkfs.ext4 /dev/mapper/mpathap2
# lsblk
vh02:
#yum -y install mysql-server
# partprobe;multipath -rr
# lsblk
3.在web页面上:为mysql添加一个server group组,之后把前面所添加的三个资源放在一个组里,提交前,先打开vh02监控页面。再测试,像上面一样
(这里要注意:在2.选择mysql中选择Script 用脚本启动 /etc/init.d/mysqld,设置虚拟ip时,子网掩码用24, 选择文件系统时: /var/lib/mysqld /dev/mapper/mpathap2
转载于:https://blog.51cto.com/12346621/1907736