GFS分布式文件系统

最新推荐文章于 2024-09-20 16:39:15 发布
最新推荐文章于 2024-09-20 16:39:15 发布
阅读量466 收藏
点赞数
文章标签： 网络 服务器 运维
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_45680960/article/details/125382316
版权
本文探讨了GFS分布式文件系统和开源的GlusterFS，对比了它们的扩展性、高可用性、数据分布策略和维护命令，以及在实际部署中的应用和故障测试。GlusterFS以其模块化堆栈架构和无元数据设计，提供了强大的横向扩展和数据冗余能力。
摘要由CSDN通过智能技术生成

GFS分布式文件系统

GFS是一个可扩展的分布式文件系统，用于大型的、分布式的、对大量数据进行访问的应用。它运行于廉价的普通硬件上，并提供容错功能。它可以给大量的用户提供总体性能较高的服务。

文章目录


在这里插入图片描述

GlusterFs简介

GlusterFs是一个开源的分布式文件系统

由存储服务器、客户端以及NFS/Samba存储网关（可选，根据需要选择使用）组成

没有元数据《务器组件，这有助于提升整个系统的性能、可靠性和稳定性。

MFS

传统的分布式文件系统大多通过元服务器来存储元数据，元数据包含存储节点上的目录信息、目录结构等。这样的设计在浏览目录时效率高，但是也存在一些缺陷，例如单点故障。一旦元数据服务器出现故障，即使节点具备再高的冗余性，整个存储系统也将崩溃。而 GlusterFS

分布式文件系统是基于无元服务器的设计，数据横向扩展能力强，具备较高的可靠性及存储效率

GlusterFS同时也是Scale-out(横向扩展）存储解决方案Gluster的核心，在存储数据方面具有强大的横向扩展能力，通过扩展能够支持数PB存储容量和处理数千客户端

GlusterFS支持借助TCP/IP或InfiniBandRDMA网络（一种支持多并发链接的技术，具有高带宽、低时延、高扩展性的特点)将物理分散分布的存储资原汇聚在一起，统一提供存储服务，并使用统一全局命名空间来管理数据

GlusterFs特点

  • 扩展性和高性能

GlusterFs利用双重特性来提供高容量存储解决方案,

  • Scale-out架构允许通过简单地增加存储节点的方式来提高存储容量和性能（磁盘、计算和r/o资源都可以独立增加)，支持10GbE和InfiniBand等高速网络互联。

  • Gluster弹性哈希(ElasticHash）解决了GlusterFs对元数据服务器的依赖，改善了单点故障和性能瓶颈，真正实现了并行化数据访问。GlusterFs采用弹性哈希算法在存储池中可以智能地定位任意数据分片（将数据分片存储在不同节点上)，不需要查看索引或者向元数据服务器查询

  • 高可用性

GlusterFS可以对文件进行自动复制，如镜像或多次复制，从而确保数据总是可以访问，甚至是在硬件故障的情况下也能正常访问

当数据出现不一致时，自我修复功能能够把数据恢复到正确的状态，数据的修复是以增量的方式在后台执行，几乎不会产生性能负载

GlusterFS可以支持所有的存储，因为它没有设计自己的私有数据文件格式，而是采用操作系统中主流标准的磁盘文件系统(如EXT3、XFS等）来存储文件，因此数据可以使用传统访问磁盘的方式被访问

  • 全局统一命名空间

分布式存储中，将所有节点的命名空间整合为统一命名空间，将整个系统的所有节点的存储容量组成一个大的虚拟存储池，供前端主机访问这些节点完成数据读写操作

  • 弹性卷管理

GlusterFs通过将数据储存在逻辑卷中，逻辑卷从逻辑存储池进行独立逻辑划分而得到

逻辑存储池可以在线进行增加和移除，不会导致业务中断。逻辑卷可以根据需求在线增长和缩减，并可以在多个节点中实现负载均衡

文件系统配置也可以实时在线进行更改并应用，从而可以适应工作负载条件变化或在线性能调优

  • 基于标准协议

Gluster存储服务支持 NFS、CIFS、HTTP、FTP、SMB 及 Gluster原生协议，完全与 POSIX标准（可移植操作系统接口)兼容

现有应用程序不需要做任何修改就可以对Gluster中的数据进行访问，也可以使用专用API进行访问

GlusterFS术语

  • Brick(存储块)

指可信主机池中由主机提供的用于物理存储的专用分区，是GlusterFs中的基本存储单元，同时也是可信存储池中服务器上对外提供的存储目录。存储目录的格式由服务器和目录的绝对路径构成，表示方法为SERVER;EXPORT，如 192.168.237.128:/data/mydir/

  • volume(逻辑卷)

一个逻辑卷是一组Brick 的集合。卷是数据存储的逻辑设备，类似于EWM中的逻辑卷。大部分Gluster管理操作是在卷上进行的

  • FUSE

是一个内核模块，允许用户创建自己的文件系统，无须修改内核代码

  • VFS

内核空间对用户空间提供的访问磁盘的接口

  • Glusterd(后台管理进程)

在存储群集中的每个节点上都要运行

模块化堆栈式架构

GlusterFS 采用模块化、维栈式的架构
通过对模块进行各种组合，即可实现复杂的功能。例如Replicate 模块可实现RAID1，Stripe模块可实现RAID0，通过两者的组合可实现

GlusterFS 的工作流程

  • 客户端或应用程序通过GlusterFs 的挂载点访问数据

  • linux系统内核通过VFS API收到请求并处理

  • VFS将数据递交给FUSE内核文件系统，并向系统注册一个实际的文件系统FUSE，而 FUSE文件系统则是将数据通过/dev/fuse设备文件递交给了GlusterFS client端。可以将FUSE文件系统理解为一个代理

  • GlusterFS client收到数据后，client 根据配置文件的配置对数据进行处理

  • 经过GlusterFS client处理后，通过网络将数据传递至远端的 clusterFS server，并且将数据写入到服务器存储设备上

弹性HASH算法

弹性HASH算法是 Davies-Meyer 算法的具体实现，通过 HASH算法可以得到一个32位的整数范围的hash值，假设逻辑卷中有N个存储单位Brick，则32位的整数范围将被划分为N个连续的子空间，每个空间对应一个Brick

当用户或应用程序访问某一个命名空间时，通过对该命名空间计算HASsH值。根据该HASs:值所对应的 32位整数空间定位数据所在的 Brick。

弹性HASH算法的优点

  • 保证数据平均分布在每一个Brick中
  • 解决了对元数据服务器的依赖，进而解决了单点故障以及访问瓶颈

GlusterFS支持的七种卷

分布式卷(Distribute volume)

文件通过HASH算法分布到所有 Brick Server .上，这种卷是clusterFS的默认卷，以文件为单位根据HASH算法散列到不同的Brick，其实只是扩大了磁盘空间，如果有一块磁盘损坏，数据也将丢失，属于文件级的 RAID0，不具有容错能力

在该模式下，并没有对文件进行分块处理，文件直接存储在某个server节点上

由于直接使用本地文件系统进行文件存储，所以存取效率并没有提高，反而会因为网络通信的原因而有所降低

示例原理

File1和File2存放在Server1，而File3存放在Server2，文件都是随机存储，一个文件(如File1）要么在Serverl 上，要么在Server2上，不能分块同时存放在server1和 server2上

分布式卷特点

  • 文件分布在不同的服务器，不具备冗余性

  • 更容易和廉价地扩展卷的大小

  • 单点故障会造成数据丢失

  • 依赖底层的数据保护

创建一个名为dis-volume的分布式卷，文件将根据HASH分布在server1:/dir1、server2:/dir2和server3:/dir3中gluster volume create dis-volume server1:/dirl server2:/dir2 server3:/dir3

条带卷(stripe volume)

类似、RAID0，文件被分成数据块并以轮询的方式分布到多个Brick Server 上，文件存储以数据块为单位，支持大文件存储，文件越大，读取效率越高，但是不具备冗余性

示例原理

File被分割为6段，1、3、5 放在 server1，2、4、6 放在 server2

条带卷特点

  • 数据被分割成更小块分布到块服务器群中的不同条带区

  • 分布减少了负载且更小的文件加速了存取的速度

  • 没有数据冗余

复制卷( replica volume)

将文件同步到多个 Brick 上，使其具备多个文件副本，属于文件级RAID1，具有容错能力。因为数据分散在多个 Brick 中，所以读性能得到很大提升，但写性能下降

示例原理

File1 同时存在 Server1 和 Server2，File2 也是如此，相当于 Server2 中的文件是 Server1 中文件的副本。

复制卷特点

  • 卷中所有的服务器均保存一个完整的副本

  • 卷的副本数量可由客户创建的时候决定

  • 至少有两个块服务器或更多服务器

  • 具备冗余性

分布式条带卷(Distribute Stripe volume)

Brick Server 数量是条带数（数据块分布的 Brick 数量）的倍数，兼具分布式卷和条带卷的特点。 主要用于大文件访问处理，创建一个分布式条带卷最少需要 4 台服务器

示例原理

File1 和 File2 通过分布式卷的功能分别定位到Server1和 Server2。在 Server1 中，File1 被分割成 4 段，其中 1、3 在 Server1 中的 exp1 目录中，2、4 在 Server1 中的 exp2 目录中。在 Server2 中，File2 也被分割成 4 段，其中 1、3 在 Server2 中的 exp3 目录中，2、4 在 Server2 中的 exp4 目录中

创建一个名为dis-stripe的分布式条带卷，配置分布式的条带卷时，卷中Brick所包含的存储服务器数必须是条带数的倍数（>=2倍）。 Brick 的数量是 4（Server1:/dir1、Server2:/dir2、Server3:/dir3 和 Server4:/dir4），条带数为 2（stripe 2）
gluster volume create dis-stripe stripe 2 transport tcp server1:/dir1 server2:/dir2 server3:/dir3 server4:/dir4

分布式复制卷(distribute replica volume)

Brick Server 数量是镜像数（数据副本数量）的倍数，兼具分布式卷和复制卷的特点。主要用于需要冗余的情况下

示例原理

File1 和 File2 通过分布式卷的功能分别定位到 Server1 和 Server2。在存放 File1 时，File1 根据复制卷的特性，将存在两个相同的副本，分别是 Server1 中的exp1 目录和 Server2 中的 exp2 目录。在存放 File2 时，File2 根据复制卷的特性，也将存在两个相同的副本，分别是 Server3 中的 exp3 目录和 Server4 中的 exp4 目录

创建一个名为dis-rep的分布式复制卷，配置分布式的复制卷时，卷中Brick所包含的存储服务器数必须是复制数的倍数（>=2倍）。Brick 的数量是 4（Server1:/dir1、Server2:/dir2、Server3:/dir3 和 Server4:/dir4），复制数为 2（replica 2）
gluster volume create dis-rep replica 2 transport tcp server1:/dir1 server2:/dir2 server3:/dir3 server4:/dir4

条带复制卷(Stripe Replica volume)

类似RAID 10，同时具有条带卷和复制卷的特点

分布式条带复制卷(Distribute Stripe Replicavolume)

三种基本卷的复合卷，通常用于类Map Reduce应用

常用的GFS维护命令

  • 查看GlusterFS卷
gluster volume list
  • 查看所有卷的信息
gluster volume info
  • 查看所有卷的状态
gluster volume status
  • 停止一个卷
gluster volume stop dis-stripe
  • 删除一个卷，注意：删除卷时，需要先停止卷，且信任池中不能有主机处于宕机状态，否则删除不成功
gluster volume delete dis-stripe

  • 设置卷的访问控制

    ​ 仅拒绝

gluster volume set dis-rep auth.deny 192.168.237.100	#设置192.168.237.100这个IP拒绝访问dis-rep卷（分布式复制卷）

​ 仅允许

gluster volume set dis-rep auth.allow 192.168.237.*	  #设置192.168.237.0网段的所有IP地址都能访问dis-rep卷（分布式复制卷）

GlusterFS 部署

服务器类型 系统和IP地址 需要安装的组件

node1服务器 192.168.237.128 添加4块20G硬盘 安装gfs

node2服务器 192.168.237.129 添加4块20G硬盘 安装gfs

node3服务器 192.168.237.148 添加4块20G硬盘 安装gfs

node4服务器 192.168.237.138 添加4块20G硬盘 安装gfs

测试服务器 192.168.237.141 安装gfs

#由于操作一致，这里仅演示一台机器的操作

[root@localhost ~]# systemctl stop firewalld
[root@localhost ~]# systemctl disable firewalld
Removed symlink /etc/systemd/system/multi-user.target.wants/firewalld.service.
Removed symlink /etc/systemd/system/dbus-org.fedoraproject.FirewallD1.service.
[root@localhost ~]# setenforce 0

[root@localhost ~]# vim /opt/fdisk.sh						#编写一键分区脚本
#!/bin/bash
NEWDEV=`ls /dev/sd* | grep -o 'sd[b-z]' | uniq`
for VAR in $NEWDEV
do
   echo -e "n\np\n\n\n\nw\n" | fdisk /dev/$VAR &> /dev/null
   mkfs.xfs /dev/${VAR}"1" &> /dev/null
   mkdir -p /data/${VAR}"1" &> /dev/null
   echo "/dev/${VAR}"1" /data/${VAR}"1" xfs defaults 0 0" >> /etc/fstab
done
mount -a &> /dev/null
:wq

[root@localhost ~]# chmod +x /opt/fdisk.sh 					#赋权
[root@localhost ~]# cd /opt
[root@localhost opt]# ./fdisk.sh 							#执行脚本
[root@localhost opt]# mount -a								#挂在全部
[root@localhost opt]# df -h									#查看
文件系统                 容量  已用  可用 已用% 挂载点
/dev/mapper/centos-root  100G  3.2G   97G    4% /
devtmpfs                 897M     0  897M    0% /dev
tmpfs                    912M     0  912M    0% /dev/shm
tmpfs                    912M  9.1M  903M    1% /run
tmpfs                    912M     0  912M    0% /sys/fs/cgroup
/dev/sda2                 20G  179M   20G    1% /boot
/dev/mapper/centos-var    10G  1.3G  8.8G   13% /var
/dev/mapper/centos-home   70G   33M   70G    1% /home
tmpfs                    183M   12K  183M    1% /run/user/42
tmpfs                    183M     0  183M    0% /run/user/0
/dev/sdb1                 20G   33M   20G    1% /data/sdb1
/dev/sdc1                 20G   33M   20G    1% /data/sdc1
/dev/sdd1                 20G   33M   20G    1% /data/sdd1
/dev/sde1                 20G   33M   20G    1% /data/sde1

[root@localhost opt]# echo "192.168.237.128 node1" >> /etc/hosts			#更改主机名
[root@localhost opt]# echo "192.168.237.129 node2" >> /etc/hosts
[root@localhost opt]# echo "192.168.237.148 node3" >> /etc/hosts
[root@localhost opt]# echo "192.168.237.138 node4" >> /etc/hosts
[root@localhost opt]# cat /etc/hosts
127.0.0.1   localhost localhost.localdomain localhost4 localhost4.localdomain4
::1         localhost localhost.localdomain localhost6 localhost6.localdomain6
192.168.237.128 node1
192.168.237.129 node2
192.168.237.148 node3
192.168.237.138 node4

[root@localhost opt]# su													#切换
[root@node1 opt]# unzip gfsrepo.zip											#解压安装包
[root@node1 opt]# cd /etc/yum.repos.d/
[root@node1 yum.repos.d]# mkdir bak											#创建备份目录
[root@node1 yum.repos.d]# mv *.repo bak										#yum文件备份至bak备份目录
[root@node1 yum.repos.d]# vim glfs.repo										#编写yum文件
[glfs]
name=glfs
baseurl=file:///opt/gfsrepo
gpgcheck=0
enabled=1
:wq
[root@node1 yum.repos.d]# yum clean all && yum makecache					#删除yum缓存，并重新加载
[root@node1 yum.repos.d]# yum -y install glusterfs glusterfs-server glusterfs-fuse glusterfs-rdma	#安装依赖
[root@node1 yum.repos.d]# systemctl start glusterd.service					#启动服务
[root@node1 yum.repos.d]# systemctl enable glusterd.service					#加入自启动
Created symlink from /etc/systemd/system/multi-user.target.wants/glusterd.service to /usr/lib/systemd/system/glusterd.service.
[root@node1 yum.repos.d]# systemctl status glusterd.service					#查看状态
● glusterd.service - GlusterFS, a clustered file-system server
   Loaded: loaded (/usr/lib/systemd/system/glusterd.service; enabled; vendor preset: disabled)
   Active: active (running) since 一 2022-06-20 19:29:18 CST; 10s ago
 Main PID: 3912 (glusterd)
   CGroup: /system.slice/glusterd.service
           └─3912 /usr/sbin/glusterd -p /var/run/glusterd.pid --log-level INFO

6月 20 19:29:18 node1 systemd[1]: Starting GlusterFS, a clustered file-system server...
6月 20 19:29:18 node1 systemd[1]: Started GlusterFS, a clustered file-system server.

#一台服务器操作即可
[root@node1 yum.repos.d]# gluster peer probe node1				#开启节点
peer probe: success. Probe on localhost not needed
[root@node1 yum.repos.d]# gluster peer probe node2
peer probe: success. Host node2 port 24007 already in peer list
[root@node1 yum.repos.d]# gluster peer probe node3
peer probe: success. 
[root@node1 yum.repos.d]# gluster peer probe node4
peer probe: success. 

[root@node1 yum.repos.d]# gluster peer status				#检查节点状态
Number of Peers: 3

Hostname: node2
Uuid: 386836bf-a67c-49cb-94cc-9d7bcf6fbe11
State: Peer in Cluster (Connected)

Hostname: node3
Uuid: 77a60a4a-4266-4af5-a9e6-fd209aa5d16e
State: Peer in Cluster (Connected)

Hostname: node4
Uuid: 8901fe70-3188-4173-838f-983a2677817c
State: Peer in Cluster (Connected)

创建分布式卷

[root@node1 yum.repos.d]# gluster volume create dis-volume node1:/data/sdb1 node2:/data/sdb1 force	#创建卷，默认为分布式卷
volume create: dis-volume: success: please start the volume to access data
[root@node1 yum.repos.d]# gluster volume list				#查看卷列表
dis-volume
[root@node1 yum.repos.d]# gluster volume start dis-volume		#开启卷
volume start: dis-volume: success
[root@node1 yum.repos.d]# gluster volume info dis-volume		#查看卷状态
 
Volume Name: dis-volume
Type: Distribute
Volume ID: 0856e499-eef3-4d6d-b9d4-1d607e03feed
Status: Started
Snapshot Count: 0
Number of Bricks: 2
Transport-type: tcp
Bricks:
Brick1: node1:/data/sdb1
Brick2: node2:/data/sdb1
Options Reconfigured:
transport.address-family: inet
nfs.disable: on

创建条带卷

[root@node1 yum.repos.d]# gluster volume create stripe-volume stripe 2 node1:/data/sdc1 node2:/data/sdc1 force		#创建条带卷
volume create: stripe-volume: success: please start the volume to access data
[root@node1 yum.repos.d]# gluster volume start stripe-volume		#开启条带卷
volume start: stripe-volume: success
[root@node1 yum.repos.d]# gluster volume info stripe-volume			#查看条带卷状态
 
Volume Name: stripe-volume
Type: Stripe
Volume ID: 3fc44a6b-1e91-434b-9975-a0dbbd835aca
Status: Started
Snapshot Count: 0
Number of Bricks: 1 x 2 = 2
Transport-type: tcp
Bricks:
Brick1: node1:/data/sdc1
Brick2: node2:/data/sdc1
Options Reconfigured:
transport.address-family: inet
nfs.disable: on

创建复制卷

[root@node1 yum.repos.d]# gluster volume create rep-volume replica 2 node3:/data/sdb1 node4:/data/sdb1 force
#创建复制卷
volume create: rep-volume: success: please start the volume to access data
[root@node1 yum.repos.d]# gluster volume start rep-volume		#开启复制卷
volume start: rep-volume: success
[root@node1 yum.repos.d]# gluster volume info rep-volume		#查看复制卷
Volume Name: rep-volume
Type: Replicate
Volume ID: 274e5bd4-2868-4c06-9010-5a5d2f30f309
Status: Started
Snapshot Count: 0
Number of Bricks: 1 x 2 = 2
Transport-type: tcp
Bricks:
Brick1: node3:/data/sdb1
Brick2: node4:/data/sdb1
Options Reconfigured:
transport.address-family: inet
nfs.disable: on

创建分布式条带卷

[root@node1 yum.repos.d]# gluster volume create dis-stripe stripe 2 node1:/data/sdd1 node2:/data/sdd1 node3:/data/sdd1 node4:/data/sdd1 force		#创建分布式条带卷
volume create: dis-stripe: success: please start the volume to access data
[root@node1 yum.repos.d]# gluster volume start dis-stripe		#开启分布式条带卷
volume start: dis-stripe: success
[root@node1 yum.repos.d]# gluster volume info dis-stripe		#查看分布式条带卷信息
 
Volume Name: dis-stripe
Type: Distributed-Stripe
Volume ID: 7da56d89-205c-4373-95d0-6d792f5febe2
Status: Started
Snapshot Count: 0
Number of Bricks: 2 x 2 = 4
Transport-type: tcp
Bricks:
Brick1: node1:/data/sdd1
Brick2: node2:/data/sdd1
Brick3: node3:/data/sdd1
Brick4: node4:/data/sdd1
Options Reconfigured:
transport.address-family: inet
nfs.disable: on

创建分布式复制卷

创建分布式复制卷[root@node1 yum.repos.d]# gluster volume create dis-rep replica 2 node1:/data/sde1 node2:/data/sde1 node3:/data/sde1 node4:/data/sde1 force		#创建分布式复制卷
volume create: dis-rep: success: please start the volume to access data
[root@node1 yum.repos.d]# gluster volume start dis-rep		 #开启分布式复制卷
volume start: dis-rep: success
[root@node1 yum.repos.d]# gluster volume info dis-rep		 #查看分布式复制卷信息
 
Volume Name: dis-rep
Type: Distributed-Replicate
Volume ID: f2fb5a79-49fa-417d-ad62-60c2126bb5a1
Status: Started
Snapshot Count: 0
Number of Bricks: 2 x 2 = 4
Transport-type: tcp
Bricks:
Brick1: node1:/data/sde1
Brick2: node2:/data/sde1
Brick3: node3:/data/sde1
Brick4: node4:/data/sde1
Options Reconfigured:
transport.address-family: inet
nfs.disable: on

部署测试端并测试

[root@localhost opt]# systemctl stop firewalld
[root@localhost opt]# systemctl disable firewalld
[root@localhost opt]# setenforce 0
[root@localhost opt]# unzip gfsrepo.zip
[root@localhost opt]# cd /etc/yum.repos.d
[root@localhost yum.repos.d]# mkdir bak
[root@localhost yum.repos.d]# mv *.repo bak
[root@localhost yum.repos.d]# vim glfs.repo
[glfs]
name=glfs
baseurl=file:///opt/gfsrepo
gpgcheck=0
enabled=1
:wq
[root@localhost yum.repos.d]# yum clean all && yum makecache
[root@localhost yum.repos.d]# yum -y install glusterfs glusterfs-fuse
[root@localhost yum.repos.d]# echo "192.168.237.128 node1" >> /etc/hosts
[root@localhost yum.repos.d]# echo "192.168.237.129 node2" >> /etc/hosts
[root@localhost yum.repos.d]# echo "192.168.237.148 node3" >> /etc/hosts
[root@localhost yum.repos.d]# echo "192.168.237.138 node4" >> /etc/hosts
[root@localhost yum.repos.d]# cat /etc/hosts
127.0.0.1   localhost localhost.localdomain localhost4 localhost4.localdomain4
::1         localhost localhost.localdomain localhost6 localhost6.localdomain6
192.168.237.128 node1
192.168.237.129 node2
192.168.237.148 node3
192.168.237.138 node4

[root@localhost yum.repos.d]# mkdir -p /test/{dis,stripe,rep,dis_stripe,dis_rep}	#创建各个卷的测试目录
#挂载刚才川奖的所有卷，并查看
[root@localhost yum.repos.d]# mount.glusterfs node1:dis-volume /test/dis
[root@localhost yum.repos.d]# mount.glusterfs node1:stripe-volume /test/stripe
[root@localhost yum.repos.d]# mount.glusterfs node1:rep-volume /test/rep
[root@localhost yum.repos.d]# mount.glusterfs node1:dis-stripe /test/dis_stripe
[root@localhost yum.repos.d]# mount.glusterfs node1:dis-rep /test/dis_rep
[root@localhost yum.repos.d]# df -h
文件系统                 容量  已用  可用 已用% 挂载点
/dev/mapper/centos-root   50G   12G   39G   23% /
devtmpfs                 1.9G     0  1.9G    0% /dev
tmpfs                    1.9G     0  1.9G    0% /dev/shm
tmpfs                    1.9G  9.1M  1.9G    1% /run
tmpfs                    1.9G     0  1.9G    0% /sys/fs/cgroup
/dev/sda2                2.0G  179M  1.9G    9% /boot
/dev/mapper/centos-home   15G   33M   15G    1% /home
/dev/mapper/centos-var    15G  1.3G   14G    9% /var
tmpfs                    378M   12K  378M    1% /run/user/42
tmpfs                    378M     0  378M    0% /run/user/0
node1:dis-volume         120G  3.4G  117G    3% /test/dis
node1:stripe-volume       40G   65M   40G    1% /test/stripe
node1:rep-volume          20G   33M   20G    1% /test/rep
node1:dis-stripe          80G  130M   80G    1% /test/dis_stripe
node1:dis-rep             40G   65M   40G    1% /test/dis_rep

#测试使用dd复制文件到测试文件中，并查看
[root@localhost yum.repos.d]# dd if=/dev/zero of=/opt/demo1.log bs=1M count=40
记录了40+0 的读入
记录了40+0 的写出
41943040字节(42 MB)已复制，0.0166367 秒，2.5 GB/秒
[root@localhost yum.repos.d]# dd if=/dev/zero of=/opt/demo2.log bs=1M count=40
记录了40+0 的读入
记录了40+0 的写出
41943040字节(42 MB)已复制，0.116601 秒，360 MB/秒
[root@localhost yum.repos.d]# dd if=/dev/zero of=/opt/demo3.log bs=1M count=40
记录了40+0 的读入
记录了40+0 的写出
41943040字节(42 MB)已复制，0.120042 秒，349 MB/秒
[root@localhost yum.repos.d]# dd if=/dev/zero of=/opt/demo4.log bs=1M count=40
记录了40+0 的读入
记录了40+0 的写出
41943040字节(42 MB)已复制，0.123341 秒，340 MB/秒
[root@localhost yum.repos.d]# dd if=/dev/zero of=/opt/demo5.log bs=1M count=40
记录了40+0 的读入
记录了40+0 的写出
41943040字节(42 MB)已复制，0.120603 秒，348 MB/秒
[root@localhost yum.repos.d]# ls -lh /opt
总用量 252M
-rw-r--r--.  1 root  root   40M 6月  20 20:03 demo1.log
-rw-r--r--.  1 root  root   40M 6月  20 20:04 demo2.log
-rw-r--r--.  1 root  root   40M 6月  20 20:04 demo3.log
-rw-r--r--.  1 root  root   40M 6月  20 20:04 demo4.log
-rw-r--r--.  1 root  root   40M 6月  20 20:04 demo5.log
drwxr-xr-x.  3 root  root  8.0K 12月 22 2020 gfsrepo
-rw-r--r--.  1 root  root   50M 6月  20 18:59 gfsrepo.zip
-rwxr-xr-x.  1 root  root  5.0K 5月  13 18:35 lnmp.sh
drwxr-xr-x. 38  7161 31415 4.0K 6月   3 20:28 mysql-5.7.20
drwxr-xr-x.  9 nginx nginx  186 6月   3 20:22 nginx-1.12.0
drwxrwxr-x. 18 wpc   wpc   4.0K 6月   3 20:29 php-7.1.10
drwxrwxr-x.  6 root  root  4.0K 11月 20 2019 redis-5.0.7
-rw-r--r--.  1 root  root  1.9M 6月   9 18:28 redis-5.0.7.tar.gz
drwxr-xr-x.  2 root  root     6 3月  26 2015 rh

#复制配置文件到对应卷中，并查看效果
-------------查看分布式文件分布---------------
#node1
[root@node1 yum.repos.d]# ls -lh /data/sdb1
总用量 40M
-rw-r--r--. 2 root root 40M 6月  20 20:07 demo3.log
#node2
[root@node2 yum.repos.d]# ls -lh /data/sdb1
总用量 160M
-rw-r--r--. 2 root root 40M 6月  20 20:07 demo1.log
-rw-r--r--. 2 root root 40M 6月  20 20:07 demo2.log
-rw-r--r--. 2 root root 40M 6月  20 20:07 demo4.log
-rw-r--r--. 2 root root 40M 6月  20 20:07 demo5.log

-------------查看条带卷文件分布---------------
#node1
[root@node1 yum.repos.d]# ls -lh /data/sdc1
总用量 100M
-rw-r--r--. 2 root root 20M 6月  20 20:07 demo1.log
-rw-r--r--. 2 root root 20M 6月  20 20:07 demo2.log
-rw-r--r--. 2 root root 20M 6月  20 20:07 demo3.log
-rw-r--r--. 2 root root 20M 6月  20 20:07 demo4.log
-rw-r--r--. 2 root root 20M 6月  20 20:07 demo5.log
#node2
[root@node2 yum.repos.d]# ls -lh /data/sdc1
总用量 100M
-rw-r--r--. 2 root root 20M 6月  20 20:07 demo1.log
-rw-r--r--. 2 root root 20M 6月  20 20:07 demo2.log
-rw-r--r--. 2 root root 20M 6月  20 20:07 demo3.log
-rw-r--r--. 2 root root 20M 6月  20 20:07 demo4.log
-rw-r--r--. 2 root root 20M 6月  20 20:07 demo5.log

-------------查看复制卷文件分布---------------
#node3
[root@node3 yum.repos.d]# ll -h /data/sdb1
总用量 200M
-rw-r--r--. 2 root root 40M 6月  20 20:07 demo1.log
-rw-r--r--. 2 root root 40M 6月  20 20:07 demo2.log
-rw-r--r--. 2 root root 40M 6月  20 20:07 demo3.log
-rw-r--r--. 2 root root 40M 6月  20 20:07 demo4.log
-rw-r--r--. 2 root root 40M 6月  20 20:07 demo5.log
#node4
[root@node4 yum.repos.d]# ll -h /data/sdb1
总用量 200M
-rw-r--r--. 2 root root 40M 6月  20 20:07 demo1.log
-rw-r--r--. 2 root root 40M 6月  20 20:07 demo2.log
-rw-r--r--. 2 root root 40M 6月  20 20:07 demo3.log
-rw-r--r--. 2 root root 40M 6月  20 20:07 demo4.log
-rw-r--r--. 2 root root 40M 6月  20 20:07 demo5.log

-------------查看分布式条带卷文件分布---------------
#node1
[root@node1 yum.repos.d]# ll -h /data/sdd1
总用量 80M
-rw-r--r--. 2 root root 20M 6月  20 20:07 demo1.log
-rw-r--r--. 2 root root 20M 6月  20 20:07 demo2.log
-rw-r--r--. 2 root root 20M 6月  20 20:07 demo3.log
-rw-r--r--. 2 root root 20M 6月  20 20:07 demo4.log
#node2
[root@node2 yum.repos.d]# ll -h /data/sdd1
总用量 80M
-rw-r--r--. 2 root root 20M 6月  20 20:07 demo1.log
-rw-r--r--. 2 root root 20M 6月  20 20:07 demo2.log
-rw-r--r--. 2 root root 20M 6月  20 20:07 demo3.log
-rw-r--r--. 2 root root 20M 6月  20 20:07 demo4.log
#node3
[root@node3 yum.repos.d]# ll -h /data/sdd1
总用量 20M
-rw-r--r--. 2 root root 20M 6月  20 20:07 demo5.log
#node4
[root@node3 yum.repos.d]# ll -h /data/sdd1
总用量 20M
-rw-r--r--. 2 root root 20M 6月  20 20:07 demo5.log

-------------查看分布式复制卷文件分布---------------
#node1
[root@node1 yum.repos.d]# ll -h /data/sde1
总用量 160M
-rw-r--r--. 2 root root 40M 6月  20 20:07 demo1.log
-rw-r--r--. 2 root root 40M 6月  20 20:07 demo2.log
-rw-r--r--. 2 root root 40M 6月  20 20:07 demo3.log
-rw-r--r--. 2 root root 40M 6月  20 20:07 demo4.log
#node2
[root@node2 yum.repos.d]# ll -h /data/sde1
总用量 160M
-rw-r--r--. 2 root root 40M 6月  20 20:07 demo1.log
-rw-r--r--. 2 root root 40M 6月  20 20:07 demo2.log
-rw-r--r--. 2 root root 40M 6月  20 20:07 demo3.log
-rw-r--r--. 2 root root 40M 6月  20 20:07 demo4.log
#node3
[root@node3 yum.repos.d]# ll -h /data/sde1
总用量 40M
-rw-r--r--. 2 root root 40M 6月  20 20:07 demo5.log
#node4
[root@node3 yum.repos.d]# ll -h /data/sde1
总用量 40M
-rw-r--r--. 2 root root 40M 6月  20 20:07 demo5.log

破坏性测试

#挂起node2节点或者关闭glusterd服务来模拟故障

----测试分布式卷----
[root@node2 yum.repos.d]# init 0			#关闭node2
[root@localhost ~]# ll /test/dis			#查看分布式卷,node2上数据丢失，不具备冗余
总用量 40960
-rw-r--r--. 1 root root 41943040 6月  20 20:07 demo3.log

----测试条带卷----
[root@localhost ~]# ll /test/stripe		#查看条带卷，数据都没了，不具备冗余
总用量 0

#挂起node4节点或者关闭glusterd服务来模拟故障
----测试复制卷----
[root@node4 ~]# init 0						#关闭node4
[root@localhost ~]# ll /test/rep			#数据仍然存在,具备冗余
总用量 204800
-rw-r--r--. 1 root root 41943040 6月  20 20:07 demo1.log
-rw-r--r--. 1 root root 41943040 6月  20 20:07 demo2.log
-rw-r--r--. 1 root root 41943040 6月  20 20:07 demo3.log
-rw-r--r--. 1 root root 41943040 6月  20 20:07 demo4.log
-rw-r--r--. 1 root root 41943040 6月  20 20:07 demo5.log

----测试分布式条带卷----
[root@localhost ~]# ll /test/dis_stripe		#数据都没了，不具备冗余
总用量 0

----测试分布式复制卷----
[root@localhost ~]# ll /test/dis_rep/		#数据仍然存在,具备冗余
总用量 204800
-rw-r--r--. 1 root root 41943040 6月  20 20:07 demo1.log
-rw-r--r--. 1 root root 41943040 6月  20 20:07 demo2.log
-rw-r--r--. 1 root root 41943040 6月  20 20:07 demo3.log
-rw-r--r--. 1 root root 41943040 6月  20 20:07 demo4.log
-rw-r--r--. 1 root root 41943040 6月  20 20:07 demo5.log

总结：部署没什么太大的难度，主要需要注意各卷的特性即可，按需求选择创建卷

????9oker??
关注
GFS分布式 文件系统
mikechen1的博客
04-08 1082
开源的分布式文件系统，由存储服务器、客户端以及NFS/Samba存储网关组成，无原数据服务器具有扩展性和高性能，高可用性有（冗余、容灾），全局统一命名空间，弹性卷管理，基于标准协议，通过多和互联网的存储节点进行冗余，以确保数据的可用性和一致性。
GFS 分布式文件系统
Katie_ff的博客
08-01 1824
（1）开源的分布式文件系统。（2）由存储服务器、客户端以及NFS/Samba 存储网关（可选，根据需要选择使用）组成。（3）没有元数据服务器组件，这有助于提升整个系统的性能、可靠性和稳定性。元数据：传统的分布式文件系统大多通过元服务器来存储元数据，元数据包含存储节点上的目录信息、目录结构等。这样的设计在浏览目录时效率高，但是也存在一些缺陷，例如单点故障。一旦元数据服务器出现故障，即使节点具备再高的冗余性，整个存储系统也将崩溃。
GFS分布式文件系统（分布式文件系统与企业级应用）
2401_85084312的博客
08-20 703
infinityBand：无线带宽技术；低延迟，高带宽，使用网络连接起来，但不再采用tcp、udp协议（因为绕过了操作系统的内核，直接让server端与客户端建立连接）GlusterFS是Scale-Out存储解决方案Gluster的核心，它是一个开源的分布式文件系统，具有强大的横向扩展能力，通过扩展能够支持数PB存储容量和处理数千客户端。GlusterFS借助TCP/IP或InfiniBandRDMA网络将物理分布的存储资源聚集在一起，使用单一全局命名空间来管理数据。1：扩展性和高性能。
GFS分布式文件系统实验包
04-08
**GFS分布式文件系统实验包** GFS，全称为Google File System，是Google开发的一款分布式文件系统，主要用于处理大规模的数据存储和处理任务。这个实验包是针对GFS的一个学习资源，旨在帮助用户理解和掌握分布式...
Java-网络
2301_81543552的博客
09-14 793
Java中的网络编程主要涉及使用Socket类进行网络通信，以及理解各种网络协议。以下是一些关键概念和示例代码，帮助您入门。
4.网络编程
weixin_45476535的博客
09-14 584
程序注册端口：1024-49151。单个协议下，端口号不能冲突。公有端口0-1023。
使用堡垒机登录ftp服务报网络不可达错误
ajax_beijing_java的博客
09-14 287
解决方法：由于不想安装额外的服务在服务器上，于是想到使用sftp服务代替ftp服务，发现是可以使用的。22端口默认就是启动的，在堡垒机上加了sftp服务，再次连接服务器并使用filezila传输文件 ，文件可以正常传输。至此，问题得到解决。场景：开发同事想使用ftp传输服务，连接服务器时报网络不可达错误。排查发现，如果想使用ftp服务，需要在服务器上部署ftp服务，21端口才会存在，才可以访问该服务。
嵌入式流媒体SRT协议：send buffer和窗口延迟机制
Dada_ping的博客
09-16 663
Handshake Packets：握手控制包（“包类型”位 = 1）用于在点对点的 SRT 会话中建立两个对等体之间的连接。早期版本的 SRT 依赖于握手扩展来在连接建立后立即交换某些参数，但自 1.3 版本起，集成机制确保所有参数作为握手的一部分进行交换。有关详细信息，请参阅本文档后面的握手部分。KM Error Response Packets(key message 错误响应包):密钥消息...
网络工程师学习笔记——网络互连与互联网
2301_77279557的博客
09-14 902
网络互连相关技术
linux-网络相关概念
zdd56789的博客
09-17 612
linux-网络相关概念
USB 的工作原理：枚举和配置（第 3 部分）
qq_37255138的博客
09-18 945
在上一个教程中，我们了解了 USB 设备如何与主机控制器通信。现在，我们将在本教程中了解 USB 描述符的妙处及其在枚举和配置过程中的作用，这使得 USB 设备可热插拔，因此事不宜迟，让我们深入研究它。要理解 USB 描述符，首先我们需要很好地理解什么是 USB 请求！它们本质上只是主机发送到 USB 设备以与其通信的数据包。下面提到的是协议支持的 USB 请求类型。这里要注意的关键点是所有请求的结构都保持不变。
【计算机网络 - 基础问题】每日 3 题（七）
Newin2020的博客
09-16 1228
✍个人博客：Pandaconda-CSDN博客📣专栏地址：http://t.csdnimg.cn/fYaBd📚专栏简介：在这个专栏中，我将会分享 C++ 面试中常见的面试题给大家~📝推荐参考地址：https://www.xiaolincoding.com/（这个大佬的专栏非常有用！
拥塞控制算法为何失效，网络为何难以测量？
Netfilter
09-14 7100
所以你知道实验室仿真的宇宙第一算法为啥拉了吧，也就不用再问为什么部署了 bbr 却还不如 cubic 了吧，如果你还希望研发一个精准的，普适的端到端算法，我劝你改行去卖皮鞋，至少还有很多经理市场。这和上一篇说的测量系统容量的方法并不矛盾，因为对于网络传输系统而言，系统是动态变化的，在流量部署到系统上并开始传输时，没有全局视图，就不能指望全局公平，留下的 gap 是固有的，没法靠算法弥补。，超级经典的一篇论文，我推荐过不止一次，因此我本文不谈异构问题，说点别的，比如拓扑。对，就是要砸，因为我不干了。
netty编程之基于websocket发送二进制数据
最新发布
wang0907的博客
09-20 329
本文看下基于websocket发送二进制数据。
网络设备登录——《路由与交换技术》实验报告
qq_63926306的博客
09-17 1372
1.通过console端口访问路由器；2.掌握计算机与路由器、交换机的连接方法；3.理解路由器和交换机在启动过程中输出信息的含义；4.掌握网络设备的基本文件管理。（1）实验设备名称和型号版本数量描述MSR36-201略PCWindows 71安装CRT软件Console 串口线——1略第5类UTP以太网连接线——1交叉线（2）实验拓扑图（实验环境）实验前请保证路由器(交换机)的所有配置已经清空。
yolo自动化项目实例解析（一）日志格式输出、并发异步多线程、websocket、循环截图、yolo推理、3d寻路 *1.78
默子昂
09-14 2213
如果收到的消息是 "是否回放中 真" 或 "是否回放中 假"，则设置 state.状态_是否回放中 为 True 或 False。如果消息以 "录制的脚本" 开头，那么它会提取脚本内容，并更新 state.录制_脚本文本 变量。它首先向客户端发送一条“连接成功”的消息，并将新连接的客户端添加到connected_clients列表中。接着，它进入一个无限循环，接收来自客户端的消息，并根据消息的不同类型更新一些状态变量。如果端口被占用，它会让用户输入一个新的端口号，并将这个新的端口号保存到配置文件中。
【计算机网络 - 基础问题】每日 3 题（五）
Newin2020的博客
09-15 892
在计算机网络中，端口是一种逻辑上的概念，用于标识不同的网络应用程序或服务。端口是一个 16 位的整数，其取值范围是 0 到 65535。端口的作用是在一台计算机上区分不同的网络通信进程或服务。可以把计算机比作一个大楼，IP 地址就像大楼的地址，而端口就像是大楼里不同房间的门牌号。当网络数据包到达计算机时，除了通过 IP 地址找到这台计算机，还需要通过端口号将数据包准确地交给对应的应用程序或服务进行处理。
GFS分布式文件系统项目
05-19
GFS（Google File System）是谷歌公司开发的分布式文件系统，旨在提供高性能、可靠性和可扩展性。GFS最初是为支持谷歌的搜索引擎而开发的，后来成为了谷歌基础设施的一部分。GFS具有以下特点： 1. 大规模：GFS能够管理数百台服务器上的PB级数据。 2. 可靠性：GFS通过数据冗余和自动故障检测与恢复机制来保证数据的可靠性。 3. 高性能：GFS通过数据分片和负载均衡等机制来提高读写性能。 4. 可扩展性：GFS支持在线添加新的存储节点，并能够自动调整数据的分片策略以适应节点的变化。 GFS的架构包括一个主节点（Master）和多个存储节点（Chunk Server）。主节点负责管理文件的元数据（如文件名、文件大小、访问权限等），以及将文件分片（Chunk）并分配到多个存储节点上。存储节点负责存储和读取数据块，并向主节点报告存储状态。客户端通过主节点获取文件的元数据和数据块的位置信息，并直接与存储节点进行数据的读写操作。 GFS的成功启示了其他分布式文件系统的设计，并为大规模数据处理提供了有力支持。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值