GFS分布式文件系统集群部署

最新推荐文章于 2022-07-06 10:45:36 发布
最新推荐文章于 2022-07-06 10:45:36 发布
阅读量164 收藏 1
点赞数 2
文章标签： 分布式 数据库 linux
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Ryu_hayabusa/article/details/116651630
版权

GFS分布式文件系统集群部署

一、GlusterFS概述

1. GlusterFS简介

  • 开源的分布式文件系统
  • 无元数据服务器
  • 由存储服务器、客户端以及NFS/Samba 存储网关组成

文件系统组成：

  1. 文件系统接口
  2. 对对像管理的软件集合
  3. 对象及属性

特点：

  • 扩展性和高性能
  • 高可用性
  • 全局统一命名空间
  • 弹性卷管理
  • 基于标准协议

2. GlusterFS术语

  • Brick（块存储服务器）实际存储用户数据的服务器
  • Volume本地文件系统的"分区"
  • FUSE用户空间的文件系统（类别EXT4），”这是一个伪文件系统“，用户端的交换模块
  • VFS（虚拟端口）内核态的虚拟文件系统，用户是提交请求给VFS 然后VFS交给FUSH，再交给GFS客户端，最后由客户端交给远端的存储
  • Glusterd（服务）是运行再存储节点的进程（客户端运行的是gluster client）GFS使用过程中整个GFS之间的交换由Gluster client 和glusterd完成

3. GlusterFS构成

在这里插入图片描述

在这里插入图片描述
上半部分为客户端，中间为网络层，下半部分为服务端
1、封装多个功能模块，组成堆栈式的结构，来实现复杂的功能
2、然后以请求的方式与客户端进行交互，客户端与服务端进行交互，由于可能会存在系统兼容问题，需要通过posix来解决系统兼容性问题，让客户端的命令通过posix过滤后可以在服务端执行

在这里插入图片描述
在这里插入图片描述

4. GFS支持的卷

  1. 分布式卷（默认）：文件通过HASH算法分布到所有Brick Server上，这种卷是GFS的基础；以文件为单位根据HASH算法散列到不同的Brick，其实只是扩大了磁盘空间，并不具备容错能力，属于文件级RAID 0
  2. 条带卷（默认）：类似RAID 0，文件被分成数据库并以轮询的方式分布到多个Brick Server上，文件存储以数据块为单位，支持大文件存储，文件越大，读取效率越高
  3. 复制卷（Replica volume）：将文件同步到多个Brick上，使其具备多个文件副本，属于文件级RAID 1，具有容错能力。因为数据分散在多个Brick中，所以读性能得到很大提升，但写性能下降
  4. 分布式条带卷（Distribute Stripe volume）：Brick Server数量是条带数（数据块分布的Brick数量）的倍数，兼具分布式卷和条带的特点
  5. 分布式复制卷（Distribute Replica volume）：Brick Server数量是镜像数（数据副本 数量）的倍数，兼具分布式卷和复制卷的特点
  6. 条带复制卷（Stripe Replca volume）：类似RAID 10，同时具有条带卷和复制卷的特点
  7. 分布式条带复制卷（Distribute Stripe Replicavolume）：三种基本卷的复合卷通常用于类Map Reduce应用

二、GFS部署

实验环境

主机IP地址
Node1192.168.117.10
Node2192.168.117.20
Node3192.168.117.30
Node4192.168.117.40
客户端192.168.117.50

1. 添加磁盘分区并挂载

在这里插入图片描述

每台节点添加四块磁盘

#编写脚本
vim fdisk.sh
#!/bin/bash
NEWDEV=`ls /dev/sd* | grep -o 'sd[b-z]' | uniq`
for VAR in $NEWDEV
do
   echo -e "n\np\n\n\n\nw\n" | fdisk /dev/$VAR &> /dev/null
   mkfs.xfs /dev/${VAR}"1" &> /dev/null
   mkdir -p /data/${VAR}"1" &> /dev/null
   echo "/dev/${VAR}"1" /data/${VAR}"1" xfs defaults 0 0" >> /etc/fstab
done
mount -a &> /dev/null

chmod +x fdisk.sh
./fdisk.sh
df -h

在这里插入图片描述
在这里插入图片描述

2. 更改节点名称并配置hosts文件

hostname node1
su -
#分别更改4个节点名称，node1~node4

echo "192.168.117.10 node1" >> /etc/hosts
echo "192.168.117.20 node2" >> /etc/hosts
echo "192.168.117.30 node3" >> /etc/hosts
echo "192.168.117.40 node4" >> /etc/hosts
cat /etc/hosts

在这里插入图片描述

3. 安装并开启GlusterFS服务

#将软件包放入opt目录下
cd /opt
unzip gfsrepo.zip 

cd /etc/yum.repos.d/
mkdir repos.bak
mv * repos.bak/

vim glfs.repo
[glfs]
name=glfs
baseurl=file:///opt/gfsrepo
gpgcheck=0
enabled=1

yum clean all && yum makecache

yum -y install glusterfs glusterfs-server glusterfs-fuse glusterfs-rdma

systemctl start glusterd.service
systemctl enable glusterd.service
systemctl status glusterd.service

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

4. 节点添加并创建集群

Node1：192.168.117.10

gluster peer probe node1
gluster peer probe node2
gluster peer probe node3
gluster peer probe node4
#查看群集状态（可以在每个节点上使用）
gluster peer status

在这里插入图片描述

5. 根据规划创建卷

卷名称卷类型Brick
dis-volume分布式卷node1(/data/sdb1)、node2(/data/sdb1)
stripe-volume条带卷node1(/data/sdc1)、node2(/data/sdc1)
rep-volume复制卷node3(/data/sdb1)、node4(/data/sdb1)
dis-stripe分布式条带卷node1(/data/sdd1)、node2(/data/sdd1)、node3(/data/sdd1)、node4(/data/sdd1)
dis-rep分布式复制卷node1(/data/sde1)、node2(/data/sde1)、node3(/data/sde1)、node4(/data/sde1)

5.1 创建分布式卷

gluster volume create dis-volume node1:/data/sdb1 node2:/data/sdb1 force
#查看卷列表
gluster volume list
#启动新建分布式卷
gluster volume start dis-volume
#查看创建分布式卷信息
gluster volume info dis-volume

在这里插入图片描述

5.2 创建条带卷

gluster volume create stripe-volume stripe 2 node1:/data/sdc1 node2:/data/sdc1 force
gluster volume start stripe-volume
gluster volume info stripe-volume

在这里插入图片描述

5.3 创建复制卷

gluster volume create rep-volume replica 2 node3:/data/sdb1 node4:/data/sdb1 force
gluster volume start rep-volume
gluster volume info rep-volume

在这里插入图片描述

5.4 创建分布式条带卷

gluster volume create dis-stripe stripe 2 node1:/data/sdd1 node2:/data/sdd1 node3:/data/sdd1 node4:/data/sdd1 force
gluster volume start dis-stripe
gluster volume info dis-stripe

在这里插入图片描述

5.5 创建分布式复制卷

gluster volume create dis-rep replica 2 node1:/data/sde1 node2:/data/sde1 node3:/data/sde1 node4:/data/sde1 force
gluster volume start dis-rep
gluster volume info dis-rep

在这里插入图片描述

6. 部署Gluster客户端

客户端：192.168.117.50

6.1 安装客户端软件

cd /opt
unzip gfsrepo.zip 
cd /etc/yum.repos.d/
vim glfs.repo
[glfs]
name=glfs
baseurl=file:///opt/gfsrepo
gpgcheck=0
enabled=1

yum clean all && yum makecache
yum -y install glusterfs glusterfs-fuse

在这里插入图片描述

6.2 配置/etc/hosts文件

echo "192.168.117.10 node1" >> /etc/hosts
echo "192.168.117.20 node2" >> /etc/hosts
echo "192.168.117.30 node3" >> /etc/hosts
echo "192.168.117.40 node4" >> /etc/hosts
cat /etc/hosts

在这里插入图片描述

6.3 创建目录并挂载Gluster文件系统

mkdir -p /ng/{dis,stripe,rep,dis_stripe,dis_rep}
cd /ng
ls
#临时挂载
mount.glusterfs node1:dis-volume /ng/dis
mount.glusterfs node1:stripe-volume /ng/stripe
mount.glusterfs node1:rep-volume /ng/rep
mount.glusterfs node1:dis-stripe /ng/dis_stripe
mount.glusterfs node1:dis-rep /ng/dis_rep
df -h

#永久挂载
vim /etc/fstab
node1:dis-volume		/test/dis				glusterfs		defaults,_netdev		0 0
node1:stripe-volume		/test/stripe			glusterfs		defaults,_netdev		0 0
node1:rep-volume		/test/rep				glusterfs		defaults,_netdev		0 0
node1:dis-stripe		/test/dis_stripe	    glusterfs		defaults,_netdev		0 0
node1:dis-rep			/test/dis_rep		    glusterfs       defaults,_netdev		0 0
mount -a

在这里插入图片描述

7. 测试

客户端：192.168.117.50

7.1 写入文件

cd /opt
dd if=/dev/zero of=/opt/demo1.log bs=1M count=60
dd if=/dev/zero of=/opt/demo2.log bs=1M count=60
dd if=/dev/zero of=/opt/demo3.log bs=1M count=60
dd if=/dev/zero of=/opt/demo4.log bs=1M count=60
dd if=/dev/zero of=/opt/demo5.log bs=1M count=60

ls -lh /opt

cp demo* /ng/dis
cp demo* /ng/stripe/
cp demo* /ng/rep/
cp demo* /ng/dis_stripe/
cp demo* /ng/dis_rep/

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

7.2 查看文件分布

  • 分布式文件分布

Node1：192.168.117.10
Node2：192.168.117.20
在这里插入图片描述
总结：分布式只会将demo文件分开存储（5个文件不在同一磁盘分区上），不会将数据分片和备份

  • 条带卷文件分布

Node1：192.168.117.10
Node2：192.168.117.20
在这里插入图片描述
总结：条带卷会将每个demo文件中的数据分片存储（两个分区各有30M的文件），没有备份

  • 复制卷文件分布

Node3：192.168.117.30
Node4：192.168.117.40
在这里插入图片描述
总结：复制卷会将每个文件放入卷中的磁盘分区中（两分区的文件一样）

  • 分布式条带卷分布

Node1：192.168.117.10
Node2：192.168.117.20
Node3：192.168.117.30
Node4：192.168.117.40
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
总结：分布式条带卷中，带有分布式和条带卷的特点，即将数据分片，又将文件分开存储，没有备份

  • 分布式复制卷分布

Node1：192.168.117.10
Node2：192.168.117.20
Node3：192.168.117.30
Node4：192.168.117.40
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
总结：分布式复制卷中，带有分布式和复制卷的特点，即将文件分开存储，又复制一遍文件（备份）

三、冗余测试

1. 模拟node2节点故障

systemctl stop glusterd.service

在这里插入图片描述

2. 在客户端验证文件是否正常

  • 分布式卷
ls -lh /ng/dis/

在这里插入图片描述
总结：数据查看，缺少demo5，文件demo5是存储在node2上的，所以分布式卷不具备冗余

  • 条带卷
ls -lh /ng/stripe

在这里插入图片描述

结论：文件中没有数据，说明数据全部丢失，所以条带卷不具备冗余

  • 复制卷
在node3和node4中选一个关闭的，关闭node4（192.168.117.40）进行测试

ls -lh /ng/rep

在这里插入图片描述

结论：文件和数据都在，所以复制卷具有冗余功能

  • 分布式条带卷
ls -lh /ng/dis_stripe

在这里插入图片描述
结论：存储在node1和node2上的4个文件不见了（数据是分片存储的），所以分布式条带卷不具备冗余，PS：因为验证上面时关闭了Node4，故里面文件也丢失了

  • 分布式复制卷
ls -lh /ng/dis_rep/

在这里插入图片描述
结论：文件和数据都在，所以分布式复制卷具有冗余

四、其他命令

1．查看GlusterFS卷
gluster volume list 
2．查看所有卷的信息
gluster volume info
3．查看所有卷的状态
gluster volume status
4．停止一个卷
gluster volume stop dis-stripe
5．删除一个卷，注意：删除卷时，需要先停止卷，且信任池中不能有主机处于宕机状态，否则删除不成功
gluster volume delete dis-stripe
6．设置卷的访问控制
#仅拒绝
gluster volume set dis-rep auth.allow 192.168.117.50
#仅允许
gluster volume set dis-rep auth.allow 192.168.117.*	  #设置192.168.117.0网段的所有IP地址都能访问dis-rep卷（分布式复制卷）
Ryu_hayabusa
关注
  • 2
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
搭建GFS分布式文件系统
12-15
一、GlusterFS概述； 二、GlusterFS存储架构； 三、GlusterFS工作原理； 四、GlusterFS卷的类型； 五、案例：搭建Gluster分布式文件系统
GFS分布式文件系统概述以及集群部署
愿你成为自己喜欢的模样，不抱怨，不将就，有自由，有光芒！
03-03 813
文章目录一、GlusterFS简介二、GlusterFS特点三、GlusterFS术语四、GlusterFS构成五、后端存储如何定位文件六、GFS支持的七种卷 一、GlusterFS简介 开源的分布式文件系统 由存储服务器、客户端以及NFS/Samba 存储网关组成 无元数据服务器 二、GlusterFS特点 扩展性和高性能 高可用性 全局统一命名空间 弹性卷管理 基于标准协议 三、GlusterFS术语 1、Brick（块存储服务器）实际存储用户数据的服务器 2、Volume本地文件系统
一文看懂GFS如何搭建
白雪滑落树梢
11-17 901
文章目录前言一、服务端配置1.环境2.修改主机名3.使用脚本对硬盘进行分区挂载4.添加四个节点域名解析5.安装本地源GFS6.创建卷1.创建分布式卷2.创建条带卷3.创建复制卷4.创建分布式条带卷5.创建分布式复制卷二、客户端配置总结 前言 一、服务端配置 1.环境 每台虚拟机需要添加4块5G磁盘 Node1节点：node1/192.168.3.11 磁盘：/dev/sdb1 挂载点：/data/sdb1 5GX4 /dev/sdc1 /data/sdc1
GFS分布式文件系统概述以及集群部署-----跟我走！
weixin_59663288的博客
07-06 651
GFS是一个可扩展的，用于。它运行于廉价的普通硬件上，并提供功能。它可以。传统的分布式文件系统： 大多通过，元数据包含存储节点上的目录信息、目录结构等。这样的设计在浏览目录时效率高，但是也存在一些缺陷，例如。一旦元数据服务器出现故障，即使节点具备再高的冗余性，整个存储系统也将崩溃。而 GlusterFS 分布式文件系统： 是基于，数据，具备较高的。GlusterFS同时也是Scale-Out（横向扩展）存储解决方案Gluster的核心，在，通过扩展能够支持数PB存储容量和处理数千客户端。GlusterFS支
红帽GFS集群文件系统配置指南 linux搭建gfs系统--iscsi+GFS实现网络存储
tycoon的专栏
07-30 5183
全局并行文件系统（GPFS） GPFS[7]是IBM公司并行共享磁盘的集群文件系统，已经被应用于世界上很多大的超级计算中心。GPFS的扩展性来源于共享磁盘的系统结构，如图 5.8所示。 图 5.8 GPFS文件系统整体结构 集群中所有结点都可以平等地存取所有的磁盘，所有的文件以分条方式存放在所有磁盘上面，这能够充分发挥存储系统的吞吐率。 在GPF
在CentOS7上部署GFS集群
热门推荐
胡振伟博客
06-15 1万+
在CentOS7上部署GFS集群 在CentOS7上部署GFS集群 准备工作 了解GFS的知识（一定要熟读！） 集群各主机hostname和hosts文件设置 确保各主机已连接到SAN或IP-SAN 安装必要的软件包 配置corosync服务 配置lvm 启动相关服务 设置集群卷组等并格式化gfs分区 挂载gfs2逻辑卷 常见错误 准备工作 了解GFS的知识（一定要熟...
KVM+GFS分布式存系统构建KVM高可用
01-07
理论概述1.1：Glusterfs 简介1.2：Glusterfs 特点二：KVM高可用构建实操2.1：环境2.2：实验目的2.3：实验过程2.3.1：构建GFS集群2.3.2：安装KVM虚拟机2.3.3：GFS集群节点服务器添加磁盘2.3.4：KVM宿主机部署成GFS...
基于GlusterFS实现Docker集群的分布式存储
03-01
目前开源的分布式文件系统有许多，例如GFS，Ceph，HDFS，FastDFS，GlusterFS等。GlusterFS因其部署简单、扩展性强、高可用等特点，在分布式存储领域被广泛使用。本文主要介绍了如何利用GlusterFS为Docker集群提供...
GeoServer集群部署及性能测试（在虚拟机上实现）
01-09
应用vmware在本地构建linux虚拟机集群，包括一个nginx节点，三个GeoServer节点，三个GlusterFS文件系统节点。 软件准备 1.geoserver软件(使用tomcat作为web容器) 2.nginx 3.glusterFS 虚拟系统准备 在vmware中克隆...
KVM+GFS构建KVM高可用群集案例
01-07
文章目录一、案例概述二、实验环境三、实验目的四、实验配置4.1、部署GFS分布式复制卷平台4.2、部署KVM虚拟化平台五、实验验证 所需安装包（GFS软件和XFTP软件包） 链接：...
集群好书《高性能Linux服务器构建实战》 试读章节下载
04-11
12.6.5　管理和维护GFS2文件系统 12.7　RHCS集群功能测试 12.7.1　高可用集群测试 12.7.2　存储集群测试 12.8　本章小结 第13章　Oracle RAC集群 13.1　Oracle集群体系结构 13.2　Oracle ClusterWare体系结构...
搭建gfs集群文件系统(Cman+RGManager+iSCSI+GFS2+cLVM)
weixin_34038293的博客
04-09 438
在上文中已经使用iSCSI搭建IP SAN存储网络，在此基础上，在构建GFS2集群文件系统前文链接：http://evanlinux.blog.51cto.com/7247558/1388690准备工作：已构建完成IP SAN网络IP地址系统target主机192.168.0.22CentOS 6.4 i386initiator主机192.168.0.23CentOS 6.4...
GFS 分布式文件系统搭建
Yplayer001的博客
12-24 615
GlusterFS集群的模式 GlusterFS 集群的模式只数据在集群中的存放结构，类似于磁盘阵列中的级别。 1、分布式卷（Distributed Volume） 又称哈希卷，近似于RAID0，文件没有分片，文件根据hash算法写入各个节点的硬盘上，优点是容量大，缺点是没冗余。 2、复制卷（Replicated Volume） 相当于raid1，复制的份数，决定集群的大小，通常与分布式卷或者条...
GFS分布式文件系统集群项目
CYQ419的博客
12-24 219
GFS分布式文件系统集群项目 群集环境 卷类型 卷名称 卷类型 空间大小 Brick dis-volume 分布式卷 40G node1(/b1)、node2(/b1) stripe-volume 条带卷 40G node1(/c1)、node2(/c1) rep-volume 复制卷 20G node3(/b1)、node4(/b1) dis-stripe 分布式条带...
GFS搭建
MSchendada的博客
11-11 525
GFS的搭建 一.基础环境 操作系统 系统IP 主机名 挂载磁盘 挂载目录 centos7.6 192.168.1.11 node1 /dev/sd{b-e}{3-6G} /[b-e][3-6] centos7.6 192.168.1.22 node2 /dev/sd{b-e}{3...
Nginx & Tomcat之负载均衡与动静分离集群部署
Ryu_hayabusa的博客
04-28 191
Nginx & Tomcat之负载均衡与动静分离集群部署一、Nginx负载均衡与动静分离原理二、实验实验环境1. Nginx服务器配置2. Tomcat服务器配置 一、Nginx负载均衡与动静分离原理 首页使用精准匹配 静态页面使用正则匹配自己处理 动态页面使用正则匹配jsp结尾的请求，使用proxy_pass转发给Tomcat服务器 二、实验 实验环境 主机 操作系统 IP地址 软件包 Nginx Server CentOS7 192.168.117.20 nginx-1.12
GFS分布式文件系统+集群部署（图文超详细）
志当存高远
05-10 1769
GFS分布式文件系统概述以及集群部署一、GlusterFS1、概述2、特点3、GlusterFS术语二、GlusterFS架构1、模块化、堆栈式的架构2、后端存储如何定位文件3、GFS支持的七种卷三、GFS部署集群环境准备1、创建磁盘分区，并挂载2、更改节点名称，配置hosts文件3、安装、启动GlusterFS服务4、添加节点并创建集群5、创建五种卷6、配置客户端7、测试8、查看四、冗余测试1、node2节点模拟故障2、客户端验证六、其他相关维护命令 一、GlusterFS 1、概述 2、特点 3、G
DR模式LVS负载均衡集群部署
Ryu_hayabusa的博客
04-23 158
DR模式LVS负载均衡集群部署一、搭建环境二、DR模式LVS负载均衡集群部署1. 部署共享存储2. 配置节点服务器2.1 配置虚拟IP地址2.2 调整内核的ARP 响应参数以阻止更新VIP的MAC地址，避免发生冲突3. 配置负载调度器3.1 关闭防火墙，加载ip_vs模块3.2 配置虚拟IP地址3.3 调整proc响应参数3.4 配置负载分配策略4. 测试验证 一、搭建环境 主机 操作系统 IP地址 软件包 DR 服务器（负载调度器） CentOS7 ens33：192.168.117.20
GFS集群部署小结
zwj52pk的博客
09-13 828
配置3个节点，并录入hosts 安装并启用服务： yum install centos-release-gluster -y  yum install glusterfs-server -y wget -O /etc/yum.repos.d/epel.repo http://mirrors.aliyun.com/repo/epel-7.repo systemctl start glusterd ...
GFS分布式文件系统项目
最新发布
05-19
GFS（Google File System）是谷歌公司开发的分布式文件系统，旨在提供高性能、可靠性和可扩展性。GFS最初是为支持谷歌的搜索引擎而开发的，后来成为了谷歌基础设施的一部分。GFS具有以下特点： 1. 大规模：GFS能够管理数百台服务器上的PB级数据。 2. 可靠性：GFS通过数据冗余和自动故障检测与恢复机制来保证数据的可靠性。 3. 高性能：GFS通过数据分片和负载均衡等机制来提高读写性能。 4. 可扩展性：GFS支持在线添加新的存储节点，并能够自动调整数据的分片策略以适应节点的变化。 GFS的架构包括一个主节点（Master）和多个存储节点（Chunk Server）。主节点负责管理文件的元数据（如文件名、文件大小、访问权限等），以及将文件分片（Chunk）并分配到多个存储节点上。存储节点负责存储和读取数据块，并向主节点报告存储状态。客户端通过主节点获取文件的元数据和数据块的位置信息，并直接与存储节点进行数据的读写操作。 GFS的成功启示了其他分布式文件系统的设计，并为大规模数据处理提供了有力支持。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值