一：GlusterFS概述
1.1 GlusterFS简介
- 开源式的分布式文件系统
- 由存储服务器、客户端以及NFS/Samba存储网关组成
- 无元数据服务器
1.2 GlusterFS特点
- 扩展性和高性能
- 高可用性
- 全局统一命名空间
- 弹性卷管理
- 基于标准协议
1.3 GlusterFS术语
- Brick
- Volume
- FUSE
- VFS
- Glusterd
1.4 模块化堆栈式架构
- 模块化、堆栈式的架构
- 通过对模块的组合，实现复杂的功能
二：GlusterFS工作原理
2.1 GlusterFS工作流程
1、客户端或应用程序通过GlusterFS的挂载点访问数据
2、linux系统内核通过VFS API收到请求并处理
3、VFS将数据递交给FUSE内核文件系统, fuse文件系统则是将数据通过/dev/fuse设备文件递交给了GlusterFS client端
4、GlusterFS client 收到数据后，client根据配置文件的配置对数据进行处理
5、通过网络将数据传递至远端的GlusterFS Server,并且将数据写入到服务器存储设备上
2.2 弹性HASH算法
- 通过HASH算法得到一个32位的整数
- HASH值有一个特性，数据唯一性
- 划分为N个连续的子空间，每个空间对应一个Brick
2.3 弹性HASH算法的优点
- 保证数据平均分布在每一个Brick中
- 解决了对元数据服务器的依赖，进而解决了单点故障以及访问瓶颈
三：GlusterFS的卷类型
3.1 分布式卷
没有对文件进行分块处理
通过扩展文件属性保存HASH值
支持的底层文件系统有ext3、ext4、ZFS、XFS等
文件不经过分块处理，直接保存，一个文件只能存在一个server中
- 分布式卷具有以下特点
文件分布在不同的服务器,不具备冗余性
更容易和廉价地扩展卷的大小
单点故障会造成数据丢失
依赖底层的数据保护，需要做磁盘阵列
- 创建分布式卷
创建一个名为dis-volume的分布式卷，文件将根据HASH分布在server1:/dir1、server2:/dir2和server3:/dir3中
#gluster volume create dis-volume server1:/dir1 server2:/dir2
Creation of dis -volume has been successful
Please start the volume to access data
3.2 条带卷
根据偏移量将文件分成N块（N个条带节点），轮询的存储在每个Brick Server节点
存储大文件时，性能尤为突出
不具备冗余性,类似Raid0
- 条带卷特点
数据被分割成更小块分布到块服务器群中的不同条带区
分布减少了负载且更小的文件加速了存取的速度
没有数据冗余
- 创建条带卷
创建了一个名为Stripe-volume的条带卷，文件将被分块轮询的存储在Server1:/dir1和Server2:/dir2两个Brick
# gluster volume create stripe-volume stripe 2 transport tcp server1:/dir1 server2:/dir2
Creation of stripe -volume has been successful
Please start the volume to access data
3.3 复制卷
同一文件保存一份或多分副本
复制模式因为要保存副本，所以磁盘利用率较低
多个节点上的存储空间不一致，那么将按照木桶效应取最低节点的容量作为该卷的总容量
- 特点
卷中所有的服务器均保存一个完整的副本
卷的副本数量可由客户创建的时候决定
至少由两个块服务器或更多服务器
具备冗余性
- 创建复制卷
创建名为rep-volume的复制卷，文件将同时存储两个副本，分别在Server1:/dir1和Server2:/dir2两个Brick中
# gluster volume create rep-volume replica 2 transport tcp server1:/dir1 server2:/dir2
Creation of rep-volume has been successful
Please start the volume to access data
3.4 分布式条带卷
兼顾分布式卷和条带卷的功能
主要用于大文件访问处理
至少最少需要 4 台服务器
- 创建分布式条带卷
创建了一个名为dis-stripe的分布式条带卷，配置分布式的条带卷时，卷中Brick所包含的存储服务器数必须是条带数的倍数(>=2倍)
# gluster volume create rep-volume replica 2 transport tcp server1:/dir1 server2:/dir2
Creation of rep-volume has been successful
Please start the volume to access data
3.5 分布式复制卷
兼顾分布式卷和复制卷的功能
用于需要冗余的情况下
- 创建分布式复制卷
创建了一个名为dis-rep的分布式复制卷，配置分布式的复制卷时，卷中Brick所包含的存储服务器数必须是条带数的倍数(>=2倍)
# gluster volume create rep-volume replica 2 transport tcp server1:/dir1 server2:/dir2
Creation of rep-volume has been successful
Please start the volume to access data
3.6 条带复制卷与分布式条带复制卷
概念跟分布式复制卷类似，都是将基本的概念组合起来
四：部署群集环境
4.1 群集环境
4.2 卷类型
node1添加四块盘
node2添加四块盘
node3添加三块盘
node4添加三块盘
五：创建卷、部署客户端、测试文件系统
5.1 修改主机名
[root@lamp ~]# hostnamectl set-hostname node1
[root@lamp ~]# su
[root@node1 ~]#
[root@nginx ~]# hostnamectl set-hostname node2
[root@nginx ~]# su
[root@node2 ~]#
[root@localhost ~]# hostnamectl set-hostname node3
[root@localhost ~]# su
[root@node3 ~]#
[root@nginx2 ~]# hostnamectl set-hostname node4
[root@nginx2 ~]# su
[root@node4 ~]#
5.2 查看新创建的磁盘
node1与node2一致
[root@node1 ~]# fdisk -l
磁盘 /dev/sdb：3221 MB, 3221225472 字节，6291456 个扇区
Units = 扇区 of 1 * 512 = 512 bytes
扇区大小(逻辑/物理)：512 字节 / 512 字节
I/O 大小(最小/最佳)：512 字节 / 512 字节
磁盘 /dev/sdc：4294 MB, 4294967296 字节，8388608 个扇区
Units = 扇区 of 1 * 512 = 512 bytes
扇区大小(逻辑/物理)：512 字节 / 512 字节
I/O 大小(最小/最佳)：512 字节 / 512 字节
磁盘 /dev/sdd：5368 MB, 5368709120 字节，10485760 个扇区
Units = 扇区 of 1 * 512 = 512 bytes
扇区大小(逻辑/物理)：512 字节 / 512 字节
I/O 大小(最小/最佳)：512 字节 / 512 字节
磁盘 /dev/sde：6442 MB, 6442450944 字节，12582912 个扇区
Units = 扇区 of 1 * 512 = 512 bytes
扇区大小(逻辑/物理)：512 字节 / 512 字节
I/O 大小(最小/最佳)：512 字节 / 512 字节
node3与node4一致
[root@node3 ~]# fdisk -l
可以用 ll /dev/ | grep sd 确认有几块硬盘的
磁盘 /dev/sdb：3221 MB, 3221225472 字节，6291456 个扇区
Units = 扇区 of 1 * 512 = 512 bytes
扇区大小(逻辑/物理)：512 字节 / 512 字节
I/O 大小(最小/最佳)：512 字节 / 512 字节
磁盘 /dev/sdc：4294 MB, 4294967296 字节，8388608 个扇区
Units = 扇区 of 1 * 512 = 512 bytes
扇区大小(逻辑/物理)：512 字节 / 512 字节
I/O 大小(最小/最佳)：512 字节 / 512 字节
磁盘 /dev/sdd：5368 MB, 5368709120 字节，10485760 个扇区
Units = 扇区 of 1 * 512 = 512 bytes
扇区大小(逻辑/物理)：512 字节 / 512 字节
I/O 大小(最小/最佳)：512 字节 / 512 字节
5.3 接下来创建磁盘分区，创建文件系统
fdisk /dev/sdb
n ###创建分区
p ###创建主分区
回车 ###默认主分区1
回车 ###默认块大小
回车 ###默认主分区大小
w ###保存分区信息
fdisk /dev/sdc
n ###创建分区
p ###创建主分区
回车 ###默认主分区1
回车 ###默认块大小
回车 ###默认主分区大小
w ###保存分区信息
fdisk /dev/sdd
n ###创建分区
p ###创建主分区
回车 ###默认主分区1
回车 ###默认块大小
回车 ###默认主分区大小
w ###保存分区信息
fdisk /dev/sde
n ###创建分区
p ###创建主分区
回车 ###默认主分区1
回车 ###默认块大小
回车 ###默认主分区大小
w ###保存分区信息
验证分区是否成功
[root@node1 ~]# ls /dev/ | grep sd.1
sda1
sdb1
sdc1
sdd1
sde1
[root@node4 ~]# ll /dev/ | grep sd.1
brw-rw---- 1 root disk 8, 1 2月 17 11:15 sda1
brw-rw---- 1 root disk 8, 17 2月 17 11:36 sdb1
brw-rw---- 1 root disk 8, 33 2月 17 11:36 sdc1
brw-rw---- 1 root disk 8, 49 2月 17 11:36 sdd1
创建文件系统，其他节点同样
[root@node1 ~]# mkfs.ext4 /dev/sdb1
[root@node1 ~]# mkfs.ext4 /dev/sdc1
[root@node1 ~]# mkfs.ext4 /dev/sdd1
[root@node1 ~]# mkfs.ext4 /dev/sde1
创建挂载点
[root@node1 ~]# mkdir /b3 /c4 /d5 /e6
[root@node1 ~]# vim /etc/fstab
/dev/sdb1 /b3 ext4 defaults 0 0
/dev/sdc1 /c4 ext4 defaults 0 0
/dev/sdd1 /d5 ext4 defaults 0 0
/dev/sde1 /e6 ext4 defaults 0 0
[root@node1 ~]# mount -a
[root@node1 ~]# df -Th
文件系统 类型 容量 已用 可用 已用% 挂载点
/dev/mapper/centos-root xfs 20G 5.9G 15G 30% /
devtmpfs devtmpfs 977M 0 977M 0% /dev
tmpfs tmpfs 993M 0 993M 0% /dev/shm
tmpfs tmpfs 993M 9.1M 984M 1% /run
tmpfs tmpfs 993M 0 993M 0% /sys/fs/cgroup
/dev/mapper/centos-home xfs 10G 37M 10G 1% /home
/dev/sda1 xfs 6.0G 161M 5.9G 3% /boot
tmpfs tmpfs 199M 4.0K 199M 1% /run/user/42
tmpfs tmpfs 199M 24K 199M 1% /run/user/0
/dev/sr0 iso9660 4.3G 4.3G 0 100% /run/media/root/CentOS 7 x86_64
/dev/sdb1 ext4 2.9G 9.0M 2.8G 1% /b3
/dev/sdc1 ext4 3.9G 16M 3.7G 1% /c4
/dev/sdd1 ext4 4.8G 20M 4.6G 1% /d5
/dev/sde1 ext4 5.8G 24M 5.5G 1% /e6
5.4 基本硬件配置完毕，接下来还需要配置防火墙等环境
关闭防火墙、安全防护
[root@node1 ~]# systemctl stop firewalld
[root@node1 ~]# systemctl disable firewalld
[root@node1 ~]# vim /etc/selinux/config
SELINUX=disabled
[root@node1 ~]# setenforce 0
5.5 修改各个节点的host文件
[root@node1 ~]# vim /etc/hosts
192.168.247.206 node1
192.168.247.160 node2
192.168.247.161 node3
192.168.247.210 node4
更改network文件也可以修改主机名
5.6 在每个node上搭建YUM仓库，安装GLFS软件并启动
[root@node1 ~]# mkdir /abc
mkdir: 无法创建目录"/abc": 文件已存在
[root@node1 ~]# mount.cifs //192.168.254.10/linuxs /abc
Password for root@//192.168.254.10/linuxs:
[root@node1 ~]# cp -r /abc/gfsrepo /opt
[root@node1 ~]# cd /etc/yum.repos.d/
[root@node1 yum.repos.d]# vim local.repo
[GLFS]
NAME=GLFS
baseurl=file:///opt/gfsrepo
gpgcheck=0
enabled=1
[root@node1 yum.repos.d]# yum clean all
已加载插件：fastestmirror, langpacks
正在清理软件源： GLFS base extras updates
Cleaning up everything
Maybe you want: rm -rf /var/cache/yum, to also free up space taken by orphaned data from disabled or removed repos
Cleaning up list of fastest mirrors
[root@node1 yum.repos.d]# yum makecache
[root@node1 yum.repos.d]# yum -y install glusterfs glusterfs-server glusterfs-fuse glusterfs-rdma
启动glusterd
[root@node1 yum.repos.d]# systemctl start glusterd.service
[root@node1 yum.repos.d]# systemctl enable glusterd.service
Created symlink from /etc/systemd/system/multi-user.target.wants/glusterd.service to /usr/lib/systemd/system/glusterd.service.
5.7 在节点1添加节点，查看集群
[root@node1 ~]# gluster peer probe node1
peer probe: success. Probe on localhost not needed
[root@node1 ~]# gluster peer probe node2
peer probe: success.
[root@node1 ~]# gluster peer probe node3
peer probe: success.
[root@node1 ~]# gluster peer probe node4
peer probe: success.
[root@node1 ~]# gluster peer status
Number of Peers: 3
Hostname: node2
Uuid: 520a55a0-4eee-402d-be4d-9f824f5055e5
State: Peer in Cluster (Connected)
Hostname: node3
Uuid: 307fb417-3d93-40b5-900b-18ac0cae41de
State: Peer in Cluster (Connected)
Hostname: node4
Uuid: 4b707b06-574a-4e4e-8464-f8b7b10fa5a8
State: Peer in Cluster (Connected)
别的节点也自动出现状态
[root@node2 yum.repos.d]# gluster peer status
Number of Peers: 3
Hostname: node1
Uuid: ce2aa5f2-cbcb-45e3-a19b-6261118adfa5
State: Peer in Cluster (Connected)
Hostname: node3
Uuid: 307fb417-3d93-40b5-900b-18ac0cae41de
State: Peer in Cluster (Connected)
Hostname: node4
Uuid: 4b707b06-574a-4e4e-8464-f8b7b10fa5a8
State: Peer in Cluster (Connected)
5.8 群集搭建完毕，接下来开始创建各式卷
5.8.1 分布式卷：
[root@node1 ~]# gluster volume create dis-volume node1:/e6 node2:/e6 force
volume create: dis-volume: success: please start the volume to access data
[root@node1 ~]# gluster volume info dis-volume
Volume Name: dis-volume
Type: Distribute
Volume ID: ed5399ba-a1f4-4bb0-98e3-ea5e052dcaaa
Status: Created
Snapshot Count: 0
Number of Bricks: 2
Transport-type: tcp
Bricks:
Brick1: node1:/e6
Brick2: node2:/e6
Options Reconfigured:
transport.address-family: inet
nfs.disable: on
在node3也可以查看到
[root@node3 ~]# gluster volume info dis-volume
Volume Name: dis-volume
Type: Distribute
Volume ID: ed5399ba-a1f4-4bb0-98e3-ea5e052dcaaa
Status: Created
Snapshot Count: 0
Number of Bricks: 2
Transport-type: tcp
Bricks:
Brick1: node1:/e6
Brick2: node2:/e6
Options Reconfigured:
transport.address-family: inet
nfs.disable: on
启动分布式卷
[root@node3 ~]# gluster volume start dis-volume
volume start: dis-volume: success
[root@node3 ~]# gluster volume
add-brick geo-replication log replace-brick status
barrier heal profile reset stop
clear-locks help quota set sync
create info rebalance start top
delete list remove-brick statedump
[root@node3 ~]# gluster volume status dis-volume
Status of volume: dis-volume
Gluster process TCP Port RDMA Port Online Pid
------------------------------------------------------------------------------
Brick node1:/e6 49152 0 Y 6108
Brick node2:/e6 49152 0 Y 3843
Task Status of Volume dis-volume
------------------------------------------------------------------------------
There are no active volume tasks
5.8.2 创建条带卷
[root@node1 ~]# gluster volume create stripe-volume stripe 2 node1:/d5 node2:/d5 force
volume create: stripe-volume: success: please start the volume to access data
[root@node1 ~]# gluster volume info stripe-volume
Volume Name: stripe-volume
Type: Stripe
Volume ID: fdd4ac03-f0c0-4d38-b355-0a3b24c7dd48
Status: Created
Snapshot Count: 0
Number of Bricks: 1 x 2 = 2
Transport-type: tcp
Bricks:
Brick1: node1:/d5
Brick2: node2:/d5
Options Reconfigured:
transport.address-family: inet
nfs.disable: on
[root@node1 ~]# gluster volume start stripe-volume
volume start: stripe-volume: success
5.8.3 创建复制卷
[root@node1 ~]# gluster volume create rep-volume replica 2 node3:/d5 node4:/d5 force
volume create: rep-volume: success: please start the volume to access data
[root@node1 ~]# gluster volume info rep-volume
Volume Name: rep-volume
Type: Replicate
Volume ID: 26ee6907-1ed2-49ab-ad3c-8bed8c2fea64
Status: Created
Snapshot Count: 0
Number of Bricks: 1 x 2 = 2
Transport-type: tcp
Bricks:
Brick1: node3:/d5
Brick2: node4:/d5
Options Reconfigured:
transport.address-family: inet
nfs.disable: on
performance.client-io-threads: off
[root@node1 ~]# gluster volume start rep-volume
volume start: rep-volume: success
5.8.4 创建分布式条带卷
[root@node1 ~]# gluster volume create dis-stripe stripe 2 node1:/b3 node2:/b3 node3:/b3 node4:/b3 force
volume create: dis-stripe: success: please start the volume to access data
[root@node1 ~]# gluster volume info dis-stripe
Volume Name: dis-stripe
Type: Distributed-Stripe
Volume ID: 50a50519-6629-42bf-9296-d5b319657f2b
Status: Created
Snapshot Count: 0
Number of Bricks: 2 x 2 = 4
Transport-type: tcp
Bricks:
Brick1: node1:/b3
Brick2: node2:/b3
Brick3: node3:/b3
Brick4: node4:/b3
Options Reconfigured:
transport.address-family: inet
nfs.disable: on
[root@node1 ~]# gluster volume start dis-stripe
volume start: dis-stripe: success
5.8.5 创建分布式复制卷
[root@node1 ~]# gluster volume create dis-rep replica 2 node1:/c4 node2:/c4 node3:/c4 node4:/c4 force
volume create: dis-rep: success: please start the volume to access data
[root@node1 ~]# gluster volume info dis-rep
Volume Name: dis-rep
Type: Distributed-Replicate
Volume ID: b1b8a0ce-0a26-4247-b0e9-cd2dba68c282
Status: Created
Snapshot Count: 0
Number of Bricks: 2 x 2 = 4
Transport-type: tcp
Bricks:
Brick1: node1:/c4
Brick2: node2:/c4
Brick3: node3:/c4
Brick4: node4:/c4
Options Reconfigured:
transport.address-family: inet
nfs.disable: on
performance.client-io-threads: off
[root@node1 ~]# gluster volume start dis-rep
volume start: dis-rep: success
5.9 新加一台客户端去做测试
[root@web2 ~]# hostnamectl set-hostname client
[root@web2 ~]# su
[root@client ~]#
搭建glfs仓库
[root@client ~]# mkdir /abc
[root@client ~]# mount.cifs //192.168.254.10/linuxs /abc
Password for root@//192.168.254.10/linuxs:
[root@client ~]# cp -r /abc/gfsrepo /opt
[root@client ~]# vim /etc/yum.repos.d/glfs.repo
[GLFS]
NAME=GLFS
baseurl=file:///opt/gfsrepo
gpgcheck=0
enabled=1
[root@client ~]# yum clean all
已加载插件：fastestmirror, langpacks
正在清理软件源： GLFS base extras updates
Cleaning up everything
Maybe you want: rm -rf /var/cache/yum, to also free up space taken by orphaned data from disabled or removed repos
Cleaning up list of fastest mirrors
[root@client ~]# yum makecache
元数据缓存已建立
[root@client ~]# yum -y install glusterfs glusterfs-fuse
创建挂载目录
[root@client ~]# mkdir -p /text/{dis,stripe,rep,dis_and_stripe,dis_and_rep}
[root@client ~]# ls /text
dis dis_and_rep dis_and_stripe rep stripe
修改hosts文件
[root@client ~]# vim /etc/hosts
192.168.247.206 node1
192.168.247.160 node2
192.168.247.161 node3
192.168.247.210 node4
挂载
手动挂载需要-t 指定glusterfs 文件系统类型
[root@client ~]# mount -t glusterfs node1:dis-volume /text/dis
[root@client ~]# mount -t glusterfs node1:stripe-volume /text/stripe
[root@client ~]# mount -t glusterfs node1:rep-volume /text/rep
[root@client ~]# mount -t glusterfs node1:dis-stripe /text/dis_and_stripe
[root@client ~]# mount -t glusterfs node1:dis-rep /text/dis_and_rep
[root@client ~]# df -Th
文件系统 类型 容量 已用 可用 已用% 挂载点
/dev/mapper/centos-root xfs 35G 4.2G 31G 12% /
devtmpfs devtmpfs 901M 0 901M 0% /dev
tmpfs tmpfs 912M 0 912M 0% /dev/shm
tmpfs tmpfs 912M 9.0M 903M 1% /run
tmpfs tmpfs 912M 0 912M 0% /sys/fs/cgroup
/dev/sda1 xfs 1014M 143M 872M 15% /boot
tmpfs tmpfs 183M 4.0K 183M 1% /run/user/42
tmpfs tmpfs 183M 28K 183M 1% /run/user/0
/dev/sr0 iso9660 4.3G 4.3G 0 100% /run/media/root/CentOS 7 x86_64
//192.168.254.10/linuxs cifs 455G 136G 319G 30% /abc
node1:dis-volume fuse.glusterfs 12G 167M 11G 2% /text/dis
node1:stripe-volume fuse.glusterfs 9.6G 139M 9.1G 2% /text/stripe
node1:rep-volume fuse.glusterfs 4.8G 70M 4.6G 2% /text/rep
node1:dis-stripe fuse.glusterfs 12G 155M 11G 2% /text/dis_and_stripe
node1:dis-rep fuse.glusterfs 7.8G 112M 7.3G 2% /text/dis_and_rep
永久挂载
[root@client ~]# vim /etc/fstab
node1:dis-volume /text/dis glusterfs defaults,_netdev 0 0
node1:stripe-volume /text/stripe glusterfs defaults,_netdev 0 0
node1:rep-volume /text/rep glusterfs defaults,_netdev 0 0
node1:dis-stripe /text/dis_and_stripe glusterfs defaults,_netdev 0 0
node1:dis-rep /text/dis_and_rep glusterfs defaults,_netdev 0 0
5.9.1 接下来做一个测试，在家目录新建测试文件
dd if=/dev/zero of=/demo1.log bs=1M count=40
dd if=/dev/zero of=/demo2.log bs=1M count=40
dd if=/dev/zero of=/demo3.log bs=1M count=40
dd if=/dev/zero of=/demo4.log bs=1M count=40
dd if=/dev/zero of=/demo5.log bs=1M count=40
将这五个测试文件复制到各个卷中
[root@client ~]# cp /demo* /text/dis
cp /demo* /text/stripe/
cp /demo* /text/rep/
cp /demo* /text/dis_and_stripe/
cp /demo* /text/dis_and_rep/
5.9.2 到各个卷中的节点去查看
- 分布式卷：node1:/e6 node2:/e6
发现5个demo被分别放到两个节点内，没有备份
[root@node1 e6]# ll
总用量 163872
-rw-r--r--. 2 root root 41943040 2月 18 02:14 demo1.log
-rw-r--r--. 2 root root 41943040 2月 18 02:14 demo2.log
-rw-r--r--. 2 root root 41943040 2月 18 02:14 demo3.log
-rw-r--r--. 2 root root 41943040 2月 18 02:14 demo4.log
drwx------. 2 root root 16384 2月 18 00:40 lost+found
[root@node2 e6]# ll
总用量 40980
-rw-r--r--. 2 root root 41943040 2月 18 02:14 demo5.log
drwx------. 2 root root 16384 2月 18 00:41 lost+found
- 条带卷 node1:/d5 node2:/d5
[root@node1 e6]# ll /d5
总用量 102436
-rw-r--r--. 2 root root 20971520 2月 18 02:14 demo1.log
-rw-r--r--. 2 root root 20971520 2月 18 02:14 demo2.log
-rw-r--r--. 2 root root 20971520 2月 18 02:14 demo3.log
-rw-r--r--. 2 root root 20971520 2月 18 02:14 demo4.log
-rw-r--r--. 2 root root 20971520 2月 18 02:14 demo5.log
drwx------. 2 root root 16384 2月 18 00:39 lost+found
[root@node2 e6]# ll /d5
总用量 102436
-rw-r--r--. 2 root root 20971520 2月 18 02:14 demo1.log
-rw-r--r--. 2 root root 20971520 2月 18 02:14 demo2.log
-rw-r--r--. 2 root root 20971520 2月 18 02:14 demo3.log
-rw-r--r--. 2 root root 20971520 2月 18 02:14 demo4.log
-rw-r--r--. 2 root root 20971520 2月 18 02:14 demo5.log
drwx------. 2 root root 16384 2月 18 00:41 lost+found
条带卷的两个节点都有文件，但是大小是正常文件的一半
- 复制卷 node3:/d5 node4:/d5
[root@node3 ~]# ll /d5
总用量 204836
-rw-r--r--. 2 root root 41943040 2月 18 02:14 demo1.log
-rw-r--r--. 2 root root 41943040 2月 18 02:14 demo2.log
-rw-r--r--. 2 root root 41943040 2月 18 02:14 demo3.log
-rw-r--r--. 2 root root 41943040 2月 18 02:14 demo4.log
-rw-r--r--. 2 root root 41943040 2月 18 02:14 demo5.log
drwx------. 2 root root 16384 2月 18 00:41 lost+found
[root@node4 yum.repos.d]# ll /d5
总用量 204836
-rw-r--r-- 2 root root 41943040 2月 17 13:14 demo1.log
-rw-r--r-- 2 root root 41943040 2月 17 13:14 demo2.log
-rw-r--r-- 2 root root 41943040 2月 17 13:14 demo3.log
-rw-r--r-- 2 root root 41943040 2月 17 13:14 demo4.log
-rw-r--r-- 2 root root 41943040 2月 17 13:14 demo5.log
drwx------ 2 root root 16384 2月 17 11:42 lost+found
复制卷在两个节点都存有相同的测试文件
- 分布式条带卷 node1:/b3 node2:/b3 node3:/b3 node4:/b3
[root@node1 e6]# ll /b3
总用量 81952
-rw-r--r--. 2 root root 20971520 2月 18 02:14 demo1.log
-rw-r--r--. 2 root root 20971520 2月 18 02:14 demo2.log
-rw-r--r--. 2 root root 20971520 2月 18 02:14 demo3.log
-rw-r--r--. 2 root root 20971520 2月 18 02:14 demo4.log
drwx------. 2 root root 16384 2月 18 00:39 lost+found
[root@node2 e6]# ll /b3
总用量 81952
-rw-r--r--. 2 root root 20971520 2月 18 02:14 demo1.log
-rw-r--r--. 2 root root 20971520 2月 18 02:14 demo2.log
-rw-r--r--. 2 root root 20971520 2月 18 02:14 demo3.log
-rw-r--r--. 2 root root 20971520 2月 18 02:14 demo4.log
drwx------. 2 root root 16384 2月 18 00:41 lost+found
[root@node3 ~]# ll /b3
总用量 20500
-rw-r--r--. 2 root root 20971520 2月 18 02:14 demo5.log
drwx------. 2 root root 16384 2月 18 00:41 lost+found
[root@node4 lost+found]# ll /b3
总用量 20500
-rw-r--r-- 2 root root 20971520 2月 17 13:14 demo5.log
drwx------ 2 root root 16384 2月 17 11:42 lost+found
在文件被分块处理的基础上又被分在不同的节点
- 分布式复制卷 node1:/c4 node2:/c4 node3:/c4 node4:/c4
[root@node1 e6]# ll /c4
总用量 163872
-rw-r--r--. 2 root root 41943040 2月 18 02:14 demo1.log
-rw-r--r--. 2 root root 41943040 2月 18 02:14 demo2.log
-rw-r--r--. 2 root root 41943040 2月 18 02:14 demo3.log
-rw-r--r--. 2 root root 41943040 2月 18 02:14 demo4.log
drwx------. 2 root root 16384 2月 18 00:39 lost+found
[root@node2 e6]# ll /c4
总用量 163872
-rw-r--r--. 2 root root 41943040 2月 18 02:14 demo1.log
-rw-r--r--. 2 root root 41943040 2月 18 02:14 demo2.log
-rw-r--r--. 2 root root 41943040 2月 18 02:14 demo3.log
-rw-r--r--. 2 root root 41943040 2月 18 02:14 demo4.log
drwx------. 2 root root 16384 2月 18 00:41 lost+found
[root@node3 ~]# ll /c4
总用量 40980
-rw-r--r--. 2 root root 41943040 2月 18 02:14 demo5.log
drwx------. 2 root root 16384 2月 18 00:41 lost+found
[root@node4 lost+found]# ll /c4
总用量 40980
-rw-r--r-- 2 root root 41943040 2月 17 13:14 demo5.log
drwx------ 2 root root 16384 2月 17 11:42 lost+found
六：其他的维护命令
1、查看GlusterFS卷
[root@node1 ~]# gluster volume list
dis-rep
dis-stripe
dis-volume
rep-volume
stripe-volume
2、查看所有卷的信息
[root@node1 ~]# gluster volume info
Volume Name: dis-rep
Type: Distributed-Replicate
Volume ID: a181255c-7930-43ca-81b4-8e1a8631a9c2
Status: Started
Snapshot Count: 0
Number of Bricks: 2 x 2 = 4
Transport-type: tcp
Bricks:
Brick1: node1:/c4
Brick2: node2:/c4
Brick3: node3:/c4
Brick4: node4:/c4
Options Reconfigured:
transport.address-family: inet
nfs.disable: on
Volume Name: dis-stripe
Type: Distributed-Stripe
Volume ID: e50291ee-36e5-40b9-b5e5-12630578a7bb
Status: Started
Snapshot Count: 0
Number of Bricks: 2 x 2 = 4
Transport-type: tcp
Bricks:
Brick1: node1:/b3
Brick2: node2:/b3
Brick3: node3:/b3
Brick4: node4:/b3
Options Reconfigured:
transport.address-family: inet
nfs.disable: on
Volume Name: dis-volume
Type: Distribute
Volume ID: c5f8b071-6079-4a41-ae4c-d429409a5ad2
Status: Started
Snapshot Count: 0
Number of Bricks: 2
Transport-type: tcp
Bricks:
Brick1: node1:/e6
Brick2: node2:/e6
Options Reconfigured:
transport.address-family: inet
nfs.disable: on
Volume Name: rep-volume
Type: Replicate
Volume ID: c51a3971-982c-4dcc-8c75-04910aff1e7d
Status: Started
Snapshot Count: 0
Number of Bricks: 1 x 2 = 2
Transport-type: tcp
Bricks:
Brick1: node3:/d5
Brick2: node4:/d5
Options Reconfigured:
transport.address-family: inet
nfs.disable: on
Volume Name: stripe-volume
Type: Stripe
Volume ID: ff588241-02aa-4800-a095-dc91d82c985b
Status: Started
Snapshot Count: 0
Number of Bricks: 1 x 2 = 2
Transport-type: tcp
Bricks:
Brick1: node1:/d5
Brick2: node2:/d5
Options Reconfigured:
transport.address-family: inet
nfs.disable: on
3、查看所有卷的状态
[root@node1 ~]# gluster volume status
Status of volume: dis-rep
Gluster process TCP Port RDMA Port Online Pid
------------------------------------------------------------------------------
Brick node1:/c4 49155 0 Y 67685
Brick node3:/c4 49154 0 Y 67369
Self-heal Daemon on localhost N/A N/A Y 67705
Self-heal Daemon on node3 N/A N/A Y 67389
Task Status of Volume dis-rep
------------------------------------------------------------------------------
There are no active volume tasks
Status of volume: dis-stripe
Gluster process TCP Port RDMA Port Online Pid
------------------------------------------------------------------------------
Brick node1:/b3 49154 0 Y 67592
Brick node3:/b3 49153 0 Y 67335
Task Status of Volume dis-stripe
------------------------------------------------------------------------------
There are no active volume tasks
Status of volume: dis-volume
Gluster process TCP Port RDMA Port Online Pid
------------------------------------------------------------------------------
Brick node1:/e6 49152 0 Y 67207
Task Status of Volume dis-volume
------------------------------------------------------------------------------
There are no active volume tasks
Status of volume: rep-volume
Gluster process TCP Port RDMA Port Online Pid
------------------------------------------------------------------------------
Brick node3:/d5 49152 0 Y 67289
Self-heal Daemon on localhost N/A N/A Y 67705
Self-heal Daemon on node3 N/A N/A Y 67389
Task Status of Volume rep-volume
------------------------------------------------------------------------------
There are no active volume tasks
Status of volume: stripe-volume
Gluster process TCP Port RDMA Port Online Pid
------------------------------------------------------------------------------
Brick node1:/d5 49153 0 Y 67489
Task Status of Volume stripe-volume
------------------------------------------------------------------------------
There are no active volume tasks
4、停止/删除卷
[root@node1 ~]# gluster volume stop dis-stripe ####停止一个卷
Stopping volume will make its data inaccessible. Do you want to continue? (y/n) y
volume stop: dis-stripe: success
[root@node1 ~]# gluster volume delete dis-stripe ####删除一个卷
Deleting volume will erase all information about the volume. Do you want to continue? (y/n) y
volume delete: dis-stripe: failed: Some of the peers are down
5、设置卷的访问控制
[root@node1 ~]# gluster volume set dis-rep auth.allow 192.168.32.* ##设置192.168.30.0网段的所有IP地址 都能访问dis-rep卷（分布式复制卷）
volume set: success
sks
Status of volume: stripe-volume
Gluster process TCP Port RDMA Port Online Pid
------------------------------------------------------------------------------
Brick node1:/d5 49153 0 Y 67489
Task Status of Volume stripe-volume
------------------------------------------------------------------------------
There are no active volume tasks
4、停止/删除卷
[root@node1 ~]# gluster volume stop dis-stripe ####停止一个卷
Stopping volume will make its data inaccessible. Do you want to continue? (y/n) y
volume stop: dis-stripe: success
[root@node1 ~]# gluster volume delete dis-stripe ####删除一个卷
Deleting volume will erase all information about the volume. Do you want to continue? (y/n) y
volume delete: dis-stripe: failed: Some of the peers are down
5、设置卷的访问控制
[root@node1 ~]# gluster volume set dis-rep auth.allow 192.168.32.* ##设置192.168.30.0网段的所有IP地址 都能访问dis-rep卷（分布式复制卷）
volume set: success
扫一扫
845
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
