QQ空间迁移_【廉价共享存储解决方案2-drbd+cman+gfs2】

廉价共享存储解决方案2-drbd+cman+gfs2

2015-12-17 10:58:44

1、修改hosts文件

[root@localhost ~]# vi /etc/hosts

127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4

::1 localhost localhost.localdomain localhost6 localhost6.localdomain6

172.16.20.45 gfs_1

172.16.20.46 gfs_2

10.10.10.45 gfs_1

10.10.10.46 gfs_2

2、配置双机互信

[root@gfs_1 ~]# ssh-keygen -t rsa -P ‘’

Generating public/private rsa key pair.

Enter file in which to save the key (/root/.ssh/id_rsa):

Your identification has been saved in /root/.ssh/id_rsa.

Your public key has been saved in /root/.ssh/id_rsa.pub.

The key fingerprint is:

a9:8a:3a:3d:64:eb:0b🇩🇪94:a5:92:e4:ba:5d:f3:de root@gfs_1

The key’s randomart image is:

±-[ RSA 2048]----+

| |

| |

| |

| . |

| . . S |

|o + + . |

|.B =o . |

|+oBo + . |

|+*=+…o E |

±----------------+

[root@gfs_1 ~]# ssh-copy-id -i .ssh/id_rsa.pub root@gfs_2

The authenticity of host ‘gfs_2 (172.16.20.46)’ can’t be established.

RSA key fingerprint is d6:c8:35:ee:99:67:83:fb:b1:21:57:1e:e2:a1:4c:e9.

Are you sure you want to continue connecting (yes/no)? yes

Warning: Permanently added ‘gfs_2,172.16.20.46’ (RSA) to the list of known hosts.

root@gfs_2’s password:

Now try logging into the machine, with “ssh ‘root@gfs_2’”, and check in:

.ssh/authorized_keys

to make sure we haven’t added extra keys that you weren’t expecting.

[root@gfs_2 ~]# ssh-keygen -t rsa -P ‘’

Generating public/private rsa key pair.

Enter file in which to save the key (/root/.ssh/id_rsa):

Your identification has been saved in /root/.ssh/id_rsa.

Your public key has been saved in /root/.ssh/id_rsa.pub.

The key fingerprint is:

97:ee:cc:12:29:c9:ad:db:62:7c:4b:b2:f8:05:bd:9b root@gfs_2

The key’s randomart image is:

±-[ RSA 2048]----+

| |

| |

| |

| . . |

| …oS.o |

| +.++ |

| …o+… |

| .=*o* |

| .o++Eo+ |

±----------------+

[root@gfs_2 ~]# ssh-copy-id -i .ssh/id_rsa.pub root@gfs_1

root@gfs_1’s password:

Now try logging into the machine, with “ssh ‘root@gfs_1’”, and check in:

.ssh/authorized_keys

to make sure we haven’t added extra keys that you weren’t expecting.

2.1验证一下

[root@gfs_2 ~]# ssh gfs_1 date 没有输入密码直接出来结果,互信配置完毕

2015年 12月 14日 星期一 23:48:18 CST

2.2配置yum 阿里源

1.卸载自带的源

rpm -aq | grep yum | xargs rpm -e --nodeps

安装阿里源

rpm -ivh http://mirrors.aliyun.com/centos/6/os/x86_64/Packages/python-iniparse-0.3.1-2.1.el6.noarch.rpm

rpm -ivh http://mirrors.aliyun.com/centos/6/os/x86_64/Packages/yum-metadata-parser-1.1.2-16.el6.x86_64.rpm

rpm -ivh http://mirrors.aliyun.com/centos/6/os/x86_64/Packages/yum-3.2.29-69.el6.centos.noarch.rpm http://mirrors.aliyun.com/centos/6/os/x86_64/Packages/yum-plugin-fastestmirror-1.1.30-30.el6.noarch.rpm

注意最后两个安装包一定要一块安装,否则会因为相互依赖而安装失败

添加源
cd /etc/yum.repos.d/

mkdir bak

mv rhel-source.repo bak

wget -O /etc/yum.repos.d/rhel-source.repo http://mirrors.aliyun.com/repo/Centos-6.repo
把$releasever 全部改为6

yum clean all&yum makecache

3、安装DRBD 请参考

http://user.qzone.qq.com/58740020/blog/1448855653

3.1、不一样的地方

同步以上操作或文件,并初始化资源及启动服务

drbdadm create-md r0

service drbd start

此处只能提升一个节点为主资源

drbdadm primary --force r0

查看信息等待同步完成

drbd-overview

0:web  Connected Primary/Secondary UpToDate/UpToDate C r----

3.2挂载使用

mke2fs -j -L DRBD /dev/drbd0 # 仅在一个节点执行

mkdir /mnt/drbd

mount /dev/drbd0 /mnt/drbd

如果之前提升二个节点都为主资源时,在这个 /mnt/drbd

目录下同时读写可能会有IO异常,导致drbd设备失效

为了解决这个问题则使用 gfs + cman 实现分布式文件锁方案

3.3安装cman

yum –y cman

3.4 gfs集群文件系统

在 /usr/local/drbd-utils-8.9.4/etc/drbd.conf

在配置文件的 net 选项中

allow-two-primaries yes;

安装 cman 底层消息通讯 + 全局锁功能

ccs_tool create gfscluster

ccs_tool addnode -n 1 -v 1 gfs_1

ccs_tool addnode -n 2 -v 1 gfs_2

查看节点

ccs_tool lsnode

3.5再次启动 drbd 服务

service drbd stop

如果之前做过 ii) 步实验的话,请确定弹出的信息

drbdadm create-md r0

service drbd start

提升第一节点为主资源

drbdadm primary --force r0

此处可以提升二个节点为主资源(分别执行)

请注意请确保一个主已经同步完成

再提升一下个为主节点

drbdadm primary --force r0

3.6、安装GFS2

yum install -y gfs2-utils

格式化gfs2并多处挂载

将drbd格式化为gfs2 (这一步只需要一个节点操作即可)

mkfs.gfs2 -j 2 -p lock_dlm -t gfscluster:gfslocktable /dev/drbd0

第二个节点同步

partprobe /dev/drbd0

多处挂载使用

mkdir /gfs

mount -t gfs2 /dev/drbd0 /gfs

节点1

节点2

4、测试

居然无法访问

Cman 服务器居然无法重启。

强行关机重启之后先查看状态,然后提升为主节点,第二台机器同样操作,

然后分别启动cman ,接着分别挂载。 gfs_controld 没有办法重启,只能强制重启服务器了

两个节点同时编辑vi gfs_1.txt

同时操作,以最后修改后保存的文件为准。

i/o 测试

安装FIO 测试 I/0 读取速度

FIO 安装步骤http://blog.chinaunix.net/uid-8116903-id-3914246.html

从顺序读的IOPS 来看结果 本地磁盘比DRBD双活的IOPS大了2.2倍。

5、总结

感觉双活模式还不大成熟,如果出现故障,有部分情况需要人工干预才能完全恢复正常。而且速度方面不是很理想。

评论(0)

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值