GlusterFS---分布式文件系统~~

最新推荐文章于 2022-10-10 18:42:57 发布
最新推荐文章于 2022-10-10 18:42:57 发布
阅读量280 收藏
点赞数
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/DAHA2/article/details/119723453
版权

简介

  • 文件系统组成
  • 文件系统接口
  • 对对像管理的软件集合
  • 对象及属性

文件系统作用

从系统角度来看，文件系统是对文件存储设备的空间进行组织和分配，负责文件存储并对存入的文件进行保护和检索的系统。
具体地说，它负责为用户建立文件，存入、读出、修改、转储文件，控制文件的存取

GFS是由三个组件

存储服务器
客户端
NFS/Samba存储网关组成

文件系统的挂载使用

除根文件系统以外的文件系统创建后要使用需要先挂载至挂载点后才可以被访问，挂载点即分区设备文件关联的某个目录文件
类比:NES

实操

四台GFS同时操作

##用脚本进行磁盘分区并挂载
vim /opt/fdisk.sh
#!/bin/bash
echo "the disks exist list:"
##grep出系统所带磁盘
fdisk -l |grep '磁盘 /dev/sd[a-z]'    
echo "=================================================="
PS3="chose which disk you want to create:"
 ##选择需要创建的磁盘编号
select VAR in `ls /dev/sd*|grep -o 'sd[b-z]'|uniq` quit   
do
    case $VAR in
    sda)
 ##本地磁盘就退出case语句
        fdisk -l /dev/sda   
        break ;;
    sd[b-z])
        #create partitions
        echo "n    ##创建磁盘
                p
                
                
           
                w"  | fdisk /dev/$VAR
 
        #make filesystem
##格式化
        mkfs.xfs -i size=512 /dev/${VAR}"1" &> /dev/null    
	#mount the system
        mkdir -p /data/${VAR}"1" &> /dev/null
###永久挂载
        echo -e "/dev/${VAR}"1" /data/${VAR}"1" xfs defaults 0 0\n" >> /etc/fstab
###使得挂载生效
        mount -a &> /dev/null
        break ;;
    quit)
        break;;
    *)
        echo "wrong disk,please check again";;
    esac
done

##给予权限，执行脚本
chmod +x /opt/fdisk.sh
cd /opt/
sh -x fdisk.sh						#连续四次，交互过程填写1，2，3，4
[root@node4 opt]# df -hT
Filesystem     Type      Size  Used Avail Use% Mounted on
/dev/sda3      xfs       197G  5.4G  192G   3% /
devtmpfs       devtmpfs  895M     0  895M   0% /dev
tmpfs          tmpfs     910M     0  910M   0% /dev/shm
tmpfs          tmpfs     910M   11M  900M   2% /run
tmpfs          tmpfs     910M     0  910M   0% /sys/fs/cgroup
/dev/sda1      xfs       197M  152M   45M  78% /boot
tmpfs          tmpfs     182M  4.0K  182M   1% /run/user/42
tmpfs          tmpfs     182M   36K  182M   1% /run/user/0
/dev/sdb1      xfs        20G   33M   20G   1% /data/sdb1
/dev/sdc1      xfs        20G   33M   20G   1% /data/sdc1
/dev/sdd1      xfs        20G   33M   20G   1% /data/sdd1
/dev/sde1      xfs        20G   33M   20G   1% /data/sde1

添加地址映射
echo "192.168.118.200 node1" >> /etc/hosts
echo "192.168.118.55 node2" >> /etc/hosts
echo "192.168.118.100 node3" >> /etc/hosts
echo "192.168.118.50 node4" >> /etc/hosts
echo "192.168.118.88 client" >> /etc/hosts


##安装部署GlusterFS，设置本地源安装
unzip gfsrepo.zip 
cd /etc/yum.repos.d/
mkdir bak
mv CentOS-* bak

vim gfs.repo
[glfs]
name=glfs
baseurl=file:///opt/gfsrepo
gpgcheck=0
enabled=1

yum clean all				#刷新本地仓库
yum makecache
rpm -e --nodeps glusterfs-api glusterfs-libs glusterfs-fuse glusterfs-cli  glusterfs glusterfs-client-xlators
yum -y install glusterfs glusterfs-server glusterfs-fuse glusterfs-rdma		#下载依赖包

##开启服务

systemctl start glusterd.service 
systemctl enable glusterd.service
systemctl status glusterd.service

加入存储信息池

[root@node1 opt]# gluster peer probe node1  //加入存储信任池，只需要在一台节点上操作即可
peer probe: success. Probe on localhost not needed
[root@node1 opt]# gluster peer probe node2
peer probe: success. 
[root@node1 opt]# gluster peer probe node3
peer probe: success. 
[root@node1 opt]# gluster peer probe node4
peer probe: success. 


[root@node1 opt]# gluster peer status 
Number of Peers: 3

Hostname: node2
Uuid: a02106dc-7fed-4bf8-9968-efa2a5bc4ec7
State: Peer in Cluster (Connected)

Hostname: node3
Uuid: 038c0761-f1f6-42c3-914e-40aedbdbf720
State: Peer in Cluster (Connected)

Hostname: node4
Uuid: 6840d481-bf60-43b8-ae71-97395a0d9bcb
State: Peer in Cluster (Connected)

创建卷

卷名称 				卷类型				Brick
dis-volume			分布式卷				node1(/data/sdb1)、node2(/data/sdb1)
stripe-volume		条带卷			    node1(/data/sdc1)、node2(/data/sdc1)
rep-volume			复制卷			    node3(/data/sdb1)、node4(/data/sdb1)
dis-stripe			分布式条带卷			node1(/data/sdd1)、node2(/data/sdd1)、node3(/data/sdd1)、node4(/data/sdd1)
dis-rep				分布式复制卷			node1(/data/sde1)、node2(/data/sde1)、node3(/data/sde1)、node4(/data/sde1)
[root@node1 gfsrepo]# gluster volume create dis-volume node1:/data/sdb1 node2:/data/sdb1 force
volume create: dis-volume: success: please start the volume to access data
[root@node1 gfsrepo]# gluster volume list				#查看卷列表
dis-volume
[root@node1 gfsrepo]# gluster volume start dis volume	#启动新建分布式卷
Usage: volume start <VOLNAME> [force]
[root@node1 gfsrepo]# gluster volume info dis-volume	#查看分布式卷信息
 
Volume Name: dis-volume
Type: Distribute
Volume ID: c542f24d-b18f-432f-acdd-6f7bb9ee6e1b
Status: Created
Snapshot Count: 0
Number of Bricks: 2
Transport-type: tcp
Bricks:
Brick1: node1:/data/sdb1
Brick2: node2:/data/sdb1
Options Reconfigured:
transport.address-family: inet
nfs.disable: on

创建复制卷

[root@node1 gfsrepo]# gluster volume create rep-volume replica 2 node3:/data/sdb1 node4:/data/sdb1 force
volume create: rep-volume: success: please start the volume to access data
[root@node1 gfsrepo]# gluster volume start rep-volume
volume start: rep-volume: success
[root@node1 gfsrepo]# gluster volume info rep-volume
 
Volume Name: rep-volume
Type: Replicate
Volume ID: fbac45bc-a688-4228-a96b-d9407bd40f08
Status: Started
Snapshot Count: 0
Number of Bricks: 1 x 2 = 2
Transport-type: tcp
Bricks:
Brick1: node3:/data/sdb1
Brick2: node4:/data/sdb1
Options Reconfigured:
transport.address-family: inet
nfs.disable: on

创建条带卷

[root@node1 opt]# gluster volume create stripe-volume stripe 2 node1:/data/sdc1 node2:/data/sdc1 force  //指定类型为 stripe，数值为 2，且后面跟了 2 个 Brick Server，所以创建的是条带卷
volume create: stripe-volume: success: please start the volume to access data
[root@node1 opt]# gluster volume start stripe-volume   //启动新建条带卷
volume start: stripe-volume: success
[root@node1 opt]# gluster volume info stripe-volume   //查看新建条带卷信息
 
Volume Name: stripe-volume
Type: Stripe
Volume ID: 478b8497-4c3d-4db4-b958-2abf5798aac2
Status: Started
Snapshot Count: 0
Number of Bricks: 1 x 2 = 2
Transport-type: tcp
Bricks:
Brick1: node1:/data/sdc1
Brick2: node2:/data/sdc1
Options Reconfigured:
transport.address-family: inet
nfs.disable: on
[root@node1 opt]#

创建分布式复制卷

[root@node1 opt]# gluster volume create dis-rep replica 2 node1:/data/sde1 node2:/data/sde1 node3:/data/sde1 node4:/data/sde1 force  //指定类型为 replica，数值为 2，而且后面跟了 4 个 Brick Server，是 2 的两倍，所以创建的是分布式复制卷
volume create: dis-rep: success: please start the volume to access data
[root@node1 opt]# gluster volume start dis-rep  //启动新建分布式复制卷
volume start: dis-rep: success
[root@node1 opt]# gluster volume info dis-rep    //查看新建分布式复制卷信息
 
Volume Name: dis-rep
Type: Distributed-Replicate
Volume ID: 39a8d0e8-79e9-431f-aeca-b69254d687c5
Status: Started
Snapshot Count: 0
Number of Bricks: 2 x 2 = 4
Transport-type: tcp
Bricks:
Brick1: node1:/data/sde1
Brick2: node2:/data/sde1
Brick3: node3:/data/sde1
Brick4: node4:/data/sde1
Options Reconfigured:
transport.address-family: inet
nfs.disable: on

创建分布式条带卷

[root@node1 opt]# gluster volume create dis-stripe stripe 2 node1:/data/sdd1 node2:/data/sdd1 node3:/data/sdd1 node4:/data/sdd1 force  //指定类型为 stripe，数值为 2，而且后面跟了 4 个 Brick Server，是 2 的两倍，所以创建的是分布式条带卷
volume create: dis-stripe: success: please start the volume to access data
[root@node1 opt]# gluster volume start dis-stripe   //启动新建分布式条带卷
volume start: dis-stripe: success
[root@node1 opt]# gluster volume info dis-stripe   //查看分布式条带卷信息
 
Volume Name: dis-stripe
Type: Distributed-Stripe
Volume ID: 54bcbe8e-f30a-4bbb-a36a-13d7cfaaab2b
Status: Started
Snapshot Count: 0
Number of Bricks: 2 x 2 = 4
Transport-type: tcp
Bricks:
Brick1: node1:/data/sdd1
Brick2: node2:/data/sdd1
Brick3: node3:/data/sdd1
Brick4: node4:/data/sdd1
Options Reconfigured:
transport.address-family: inet
nfs.disable: on

部署

[root@client ~]# echo "192.168.30.6 node1" >> /etc/hosts
[root@client ~]# echo "192.168.30.7 node2" >> /etc/hosts
[root@client ~]# echo "192.168.30.8 node3" >> /etc/hosts
[root@client ~]# echo "192.168.30.9 node4" >> /etc/hosts
[root@client ~]# echo "192.168.30.5 client" >> /etc/hosts
[root@client ~]#

** 创建挂载点**

[root@client opt]# mkdir -p /test/{dis,stripe,rep,dis_stripe,dis_rep}
[root@client opt]# ls /test
dis  dis_rep  dis_stripe  rep  stripe
[root@client opt]# mount.glusterfs node1:dis-volume /test/dis
[root@client opt]# mount.glusterfs node1:stripe-volume /test/stripe
[root@client opt]# mount.glusterfs node1:rep-volume /test/rep
[root@client opt]# mount.glusterfs node1:dis-stripe /test/dis_stripe
[root@client opt]# mount.glusterfs node1:dis-rep /test/dis_rep
[root@client opt]# df -hT
文件系统            类型            容量  已用  可用 已用% 挂载点
/dev/sda3           xfs             197G  4.5G  193G    3% /
devtmpfs            devtmpfs        895M     0  895M    0% /dev
tmpfs               tmpfs           910M     0  910M    0% /dev/shm
tmpfs               tmpfs           910M   11M  900M    2% /run
tmpfs               tmpfs           910M     0  910M    0% /sys/fs/cgroup
/dev/sda1           xfs            1014M  174M  841M   18% /boot
tmpfs               tmpfs           182M   12K  182M    1% /run/user/42
tmpfs               tmpfs           182M     0  182M    0% /run/user/0
node1:dis-volume    fuse.glusterfs  8.0G   65M  8.0G    1% /test/dis
node1:stripe-volume fuse.glusterfs  8.0G   65M  8.0G    1% /test/stripe
node1:rep-volume    fuse.glusterfs  4.0G   33M  4.0G    1% /test/rep
node1:dis-stripe    fuse.glusterfs   16G  130M   16G    1% /test/dis_stripe
node1:dis-rep       fuse.glusterfs  8.0G   65M  8.0G    1% /test/dis_rep
[root@client opt]#

数据写入

[root@client opt]# ls -lh /opt
总用量 150M
-rw-r--r--  1 root root  20M 8月  11 19:55 demo1.log
-rw-r--r--  1 root root  20M 8月  11 19:55 demo2.log
-rw-r--r--  1 root root  20M 8月  11 19:55 demo3.log
-rw-r--r--  1 root root  20M 8月  11 19:55 demo4.log
-rw-r--r--  1 root root  20M 8月  11 19:55 demo5.log
drwxr-xr-x  3 root root 8.0K 11月 20 2020 gfsrepo
-rw-r--r--  1 root root  50M 8月  11 09:33 gfsrepo.zip
drwxr-xr-x. 2 root root    6 10月 31 2018 rh
[root@client opt]# 
[root@client opt]# cp demo* /test/dis
[root@client opt]# cp demo* /test/stripe/
[root@client opt]# cp demo* /test/rep/
[root@client opt]# cp demo* /test/dis_stripe/
[root@client opt]# cp demo* /test/dis_rep/

查看文件

[root@client test]# ls -lh dis/ stripe/ rep dis_stripe/ dis_rep/
dis/:
总用量 80M
-rw-r--r-- 1 root root 20M 8月  11 19:55 demo1.log
-rw-r--r-- 1 root root 20M 8月  11 19:55 demo2.log
-rw-r--r-- 1 root root 20M 8月  11 19:55 demo3.log
-rw-r--r-- 1 root root 20M 8月  11 19:55 demo4.log

dis_rep/:
总用量 100M
-rw-r--r-- 1 root root 20M 8月  11 19:55 demo1.log
-rw-r--r-- 1 root root 20M 8月  11 19:55 demo2.log
-rw-r--r-- 1 root root 20M 8月  11 19:55 demo3.log
-rw-r--r-- 1 root root 20M 8月  11 19:55 demo4.log
-rw-r--r-- 1 root root 20M 8月  11 19:55 demo5.log

dis_stripe/:
总用量 20M
-rw-r--r-- 1 root root 20M 8月  11 19:55 demo5.log

rep:
总用量 100M
-rw-r--r-- 1 root root 20M 8月  11 19:55 demo1.log
-rw-r--r-- 1 root root 20M 8月  11 19:55 demo2.log
-rw-r--r-- 1 root root 20M 8月  11 19:55 demo3.log
-rw-r--r-- 1 root root 20M 8月  11 19:55 demo4.log
-rw-r--r-- 1 root root 20M 8月  11 19:55 demo5.log

stripe/:
ls: 正在读取目录stripe/: 传输端点尚未连接
总用量 0
DH23
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
GlusterFS的客户端访问和NFS设置
weixin_34096182的博客
12-27 1645
2019独角兽企业重金招聘Python工程师标准>>> ...
GlusterFS集群部署
小杨博客 学习交流
10-14 2507
GlusterFS集群部署。
GlusterFS 配置及使用 二 ：Windows挂载GlusterFS
业精于勤，荒于嬉；行成于思，毁于随。
06-27 4978
前言：GlusterFS服务器搭建完成后，Client可以采用NFS、GlusterFS、Samba方式提供给客户端，NFS、Samba方式适用于Windows、Linux 一、安装GlusterFS和rpcbind(他是一个RPC服务，主要是在nfs共享时候负责通知客户端，服务器的nfs端口号的。简单理解rpc就是一个中介服务。) yum install -y glusterfs-se...
GFS分布式文件系统
Drw_Dcm的博客
10-08 1796
GlusterFS分布式文件系统
glusterfs-CURRENT.tar.gz_glusterfs_分布 存储_分布式_分布式文件系统
09-23
分布式文件系统，可以将文件分布存储在不同的服务器上
GlusterFS分布式文件系统群集资源.rar
05-15
GlusterFS分布式文件系统群集资源.rar
换个角度看GlusterFS分布式文件系统
03-03
GlusterFS最初的目标是代替Lustre和GPFS分布式文件系统，经过八年左右的蓬勃发展，GlusterFS目前在开源社区活跃度非常之高，这个后起之秀已经俨然与Lustre、MooseFS、CEPH并列成为四大开源分布式文件系统。...
GlusterFS分布式文件系统
11-07
GlusterFS分布式文件系统架构介绍，EHA算法介绍，5中分布式卷的详细介绍，性能测试对比
ovirt自承载引擎安装配置
测试0901-1
12-30 949
必须为管理引擎和宿主机准备一个FQDN，ＤＮＳ中设置转发和解析 关于自承载引擎 自承载（self-hosted）引擎就是一个虚拟化环境，它的引擎（Manager）运行在由这个引擎所管理的一台主机的虚拟机上。虚拟机会作为主机配置的一部分被创建，引擎的安装和配置过程会在主机配置的过程中同时进行。 运行引擎的虚拟机会...
GFS分布式文件系统概述以及集群部署-----跟我走！
weixin_59663288的博客
07-06 644
GFS是一个可扩展的，用于。它运行于廉价的普通硬件上，并提供功能。它可以。传统的分布式文件系统： 大多通过，元数据包含存储节点上的目录信息、目录结构等。这样的设计在浏览目录时效率高，但是也存在一些缺陷，例如。一旦元数据服务器出现故障，即使节点具备再高的冗余性，整个存储系统也将崩溃。而 GlusterFS 分布式文件系统： 是基于，数据，具备较高的。GlusterFS同时也是Scale-Out（横向扩展）存储解决方案Gluster的核心，在，通过扩展能够支持数PB存储容量和处理数千客户端。GlusterFS支
如何搭建glusterfs分布式存储系统
MssGuo的博客
01-02 3176
前言 环境：centos7.9 什么是分布式存储 我们之前已经学过了NAS是远程网络共享目录，SAN是远程通过网络共享块设备，那么分布式存储可以看做拥有多台存储服务器连接起来的存储设备端，把这么多台存储服务器的存储组合起来做成一个整体，然后再通过网络进行远程共享，共享的方式可以是目录（文件存储）或块设备（块存储）或者对象存储，常见的分布式存储开源软件有GlusterFS，Ceph，HDFS ，MooseFS，FastDFS等。 分布式存储的优点 1、扩容方便，轻松达到PB级别或以上； 2、提升读写性能（LB
22.glusterfs介绍及配置|使用glusterfs作为后端存储
Michael_XiaoQ的博客
07-18 4517
DAS直接附加存储：old存储 NAS 网络区域存储：          1. nfs,ftp,samba  文件夹式的共享  2.分布式文件系统：glusterfs，ceph，mfs….. SAN存储区域网： fs-SAN IP-SAN:  iscsi   P.S.: RAID0 是条带化：分布式， RAID1是镜像化...
CentOS 7安装部署GlusterFS
Hello！C先生的博客
06-03 1961
CentOS 7安装部署GlusterFS 一、glusterfs简介 Glusterfs是一个开源的分布式文件系统，是Scale存储的核心，能够处理千数量级的客户端。是整合了许多存储块（server）通过Infiniband RDMA或者 Tcp/Ip方式互联的一个并行的网络文件系统。 　　特征： • 容量可以按比例的扩展，且性能却不会因此而降低。 • 廉价且使用简单，完全抽象在已有的文件系统之上。 • 扩展和容错设计的比较合理，复杂度较低 • 适应性强，部署方便，对环境依赖低，使...
peer probe: failed: Probe returned with 传输端点尚未连接
m0_62948770的博客
10-10 1659
GFS故障
GlusterFS分布式存储
qq_43704782的博客
03-24 1242
一、GlusterFS概述 概述：GlusterFS（Google File System）是一个开源的分布式文件系统，Gluster借助TCP/IP网络将存储资源分散存储在网络的不同节点，在通过汇聚为客户端提供统一的资源访问，在存储方面具有很强大的横向扩展能力，通过扩展不同的节点可以支持PB级别的存储容量:Bit、Byte、KB、MB、GB、TB、PB、EB、ZB、YB、DB、NB. 特点： 扩展性与高性能：通过Scale-out架构可以增加存储节点的方式来提高容量和性能（磁盘、计算、I/O资源都可以独
禁止nfs开启
萧瑟一笑的专栏
01-22 1428
nfs平时还是用得比较少，所以一般不要开机启动。 查看一下nfs进程是否已经开启： $ ps aux | grep nfs root       501  0.0  0.0      0     0 ?        S root      1214  0.0  0.0      0     0 ?        S root      1215  0.0  0.0      0
GlusterFS - Peer Rejected 错误的恢复
最新发布
05-31
GlusterFS 是一个分布式文件系统，Peer Rejected 错误通常表示某个节点被拒绝了。如果出现此错误，您可以尝试以下步骤进行恢复： 1. 检查网络连接：确保所有节点的网络连接正常，并且它们都可以互相访问。 2. 检查 GlusterFS 服务状态：使用以下命令检查每个节点上的 GlusterFS 服务状态： ``` systemctl status glusterd ``` 如果服务未运行，请启动它。 3. 检查 GlusterFS 卷状态：使用以下命令检查 GlusterFS 卷的状态： ``` gluster volume status ``` 如果卷未处于活动状态，请激活它。 4. 检查 GlusterFS 存储池状态：使用以下命令检查 GlusterFS 存储池的状态： ``` gluster pool list ``` 如果存储池处于离线状态，请重新启动存储池。 5. 手动重新连接拒绝的节点：使用以下命令手动重新连接拒绝的节点： ``` gluster peer probe <拒绝节点的 IP 地址> ``` 如果以上步骤都无法解决问题，您可以尝试重新启动所有节点，并确保重新启动后所有服务都已启动。如果问题仍然存在，请查看 GlusterFS 日志以获取更多详细信息。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值