KVM虚拟化开源高可用方案(七)GLUSTERFS搭建及常见故障处理

一、准备

1.1 硬件要求

为了充分保证系统的稳定性和性能,要求所有glusterfs服务器硬件配置尽量一致,尤其是硬盘数量和大小。机器的RAID卡需要带电池,缓存越大,性能越好。一般情况下,建议做RAID10,如果出于空间要求的考虑,需要做RAID5,建议最好能有1-2块硬盘的热备盘。

1.2 系统要求和分区划分

系统要求使用centos 6.x,安装完成后升级到最新版本,安装的时候,不要使用LV,建议/boot分区200M,/ 分区100G、swap分区和内存一样大小,剩余空间给gluster使用,划分单独的硬盘空间。系统安装软件没有特殊要求,建议除了开发工具和基本的管理软件,其他软件一律不安装。

1.3 网络环境

网络要求全部千兆环境,gluster服务器至少有4块网卡,3块网卡绑定供gluster使用,剩余一块分配管理网络ip,用于系统管理。网卡绑定建议使用mode 0的方式,同步的网卡绑定脚本如下:

cat <<EOF >/etc/sysconfig/network-scripts/ifcfg-bond0

DEVICE=bond0

BOOTPROTO=none

IPADDR=10.10.10.233

NETMASK=255.255.255.0

TYPE=Ethernet

BONDING_OPTS="mode=0 miimon=100"

EOF

cat << EOF >/etc/sysconfig/network-scripts/ifcfg-eth1

DEVICE=eth1

BOOTPROTO=none

ONBOOT=yes

TYPE=Ethernet

MASTER=bond0

SLAVE=yes

EOF

cat << EOF >/etc/sysconfig/network-scripts/ifcfg-p2p1

DEVICE=p2p1

BOOTPROTO=none

ONBOOT=yes

TYPE=Ethernet

MASTER=bond0

SLAVE=yes

EOF

cat << EOF >/etc/sysconfig/network-scripts/ifcfg-p2p2

DEVICE=p2p2

BOOTPROTO=none

ONBOOT=yes

TYPE=Ethernet

MASTER=bond0

SLAVE=yes

EOF

二、部署

2.1 GLUSTER软件安装

1) 升级系统到最新

yum update -y

2) 编辑/etc/hosts,将所有服务器的hostname加进去

3) 安装epel源

rpm -Uvh http://mirrors.sohu.com/fedora-epel/6/x86_64/epel-release-6-7.noarch.rpm

4) 下载安装gluster软件包:

wget http://download.gluster.org/pub/gluster/glusterfs/LATEST/CentOS/glusterfs-epel.repo \

-O /etc/yum.repos.d/glusterfs-epel.repo

yum install glusterfs-devel glusterfs-fuse glusterfs-server -y

5) 启动glusterd服务

默认安装完成自动启动服务,安装完成后是一个标准的redhat服务,可以启动,停止,重启

/etc/init.d/glusterd start

/etc/init.d/glusterd stop

/etc/init.d/glusterd restart

6) 添加服务器到存储池

在第一台服务器上执行探测操作

gluster peer probe gfs2

gluster peer probe gfs3

校验集群状态

[root@hp246 ~]# gluster peer status

Number of Peers: 4

Hostname:gfs1

Uuid: 59cd74a9-a555-4560-b98e-a7eaf2058926

State: Peer in Cluster (Connected)

Hostname:gfs2

Uuid: 278d94f8-cf55-42cc-a4ad-9f84295c140b

State: Peer in Cluster (Connected)

Hostname: gfs3

Uuid: 7fd840a2-53f5-4540-b455-3e5e7eded813

State: Peer in Cluster (Connected)

如果需要移出集群 执行如下命令

gluster peer detach server

7) 创建集群卷

a) 创建一个分布卷(只是卷连接起来,跨区卷)

gluster volume create test-volume server1:/exp1 server2:/exp2 server3:/exp3

b) 创建一个复制卷(raid1)

gluster volume create test-volume replica 2 transport tcp server1:/exp1 server2:/exp2

c) 创建一个条带卷(raid0)

gluster volume create test-volume stripe 2 transport tcp server1:/exp1 server2:/exp2

d) 创建一个分布条带卷(raid00)

gluster volume create test-volume stripe 4 transport tcp server1:/exp1 server2:/exp2

server3:/exp3 server4:/exp4 server5:/exp5 server6:/exp6 server7:/exp7 server8:/exp8

e) 创建一个复制条带卷(raid10

gluster volume create test-volume replica 2 transport tcp server1:/exp1 server2:/exp2

server3:/exp3 server4:/exp4

f) 创建一个分部复制条带卷(raid100)

gluster volume create test-volume stripe 2 replica 2 transport tcp server1:/exp1

server2:/exp2 server3:/exp3 server4:/exp4 server5:/exp5 server6:/exp6 server7:/exp7

server8:/exp8

g) 创建条带复制卷(raid01)

gluster volume create test-volume stripe 2 replica 2 transport tcp server1:/exp1

server2:/exp2 server3:/exp3 server4:/exp4

生产环境中要求使用复制卷,根据安全性的要求,replica 2或者replica 3。

查看卷信息

gluster volume info

启动卷

gluster volume start test-volume

8) 客户端挂载

客户端安装gluster,加载fuse模块

yum -y install wget fuse fuse-libs

modprobe fuse

Verify that the FUSE module is loaded:

# dmesg | grep -i fuse

fuse init (API version 7.13)

挂载卷

mount -t glusterfs server1:/test-volume /mnt/glusterfs

自动挂载

vim fstab

server1:/test-volume /mnt/glusterfs glusterfs defaults,_netdev 0 0

加上备用服务器挂载

mount -t glusterfs -o backupvolfile-server=10.10.10.171,backupvolfile-server=10.10.10.172 10.10.10.176:/test-volume /gfs

9) 性能监视

gluster volume profile test-volume start

显示基本性能信息

gluster volume profile test-volume info

显示最高的文件读取

gluster volume top test-volume read

显示最高的文件写

gluster volume top test-volume write

10) 设置附加属性

gluster volume set test-volume performance.cache-size 256MB

条带块大小

gluster volume set test-volume cluster.stripe-block-size 128KB

三、常见故障处理

3.1 硬盘故障

因为底层做了raid配置,有硬件故障,直接更换硬盘,会自动同步数据。

3.2 一台节点故障,

一台节点故障的情况包括以下情况:

a) 物理故障;

b) 同时有多块硬盘故障,造成数据丢失;

c) 系统损坏不可修复。

解决方法:

找一台完全一样的机器,至少要保证硬盘数量和大小一致,安装系统,配置和故障机同样的ip,安装gluster软件,保证配置都一样,在其他健康的节点上执行命令gluster peer status,查看故障服务器的uuid,

gluster peer status

Number of Peers: 2

Hostname: 10.10.10.172

Uuid: 64b345d4-6c9c-43d8-82ef-68c228c4b7ed

State: Peer in Cluster (Connected)

Hostname: 10.10.10.176

Uuid: 9133d139-f9c4-484d-acdf-d11f0452878a

State: Peer in Cluster (Disconnected)

修改新加机器的/var/lib/glusterd/glusterd.info和故障机器的一样

cat /var/lib/glusterd/glusterd.info

UUID=9133d139-f9c4-484d-acdf-d11f0452878a

在任意节点上执行

root@drbd01 ~]# gluster volume heal test-volume full

Launching Heal operation on volume test-volume has been successful

就会自动开始同步,但是同步的时候会影响整个系统的性能。

可以查看状态

[root@drbd01 ~]# gluster volume heal test-volume info

Gathering Heal info on volume test-volume has been successful

本文出自 “xiaoli110的博客” 博客,转载请与作者联系!

展开阅读全文

没有更多推荐了,返回首页