GlusterFS群集存储项目

最新推荐文章于 2024-11-09 11:27:16 发布
最新推荐文章于 2024-11-09 11:27:16 发布
阅读量128 收藏 1
点赞数
文章标签： 运维 开发工具
原文链接：http://www.cnblogs.com/joinbestgo/p/10647745.html
版权
最小化安装的centos7.5
内存大于1GB
关闭selinux，防火墙端口放行（port：24007，111）（测试建议关闭firewalld）

一、环境部署

所有软件包离线安装，原因是yum安装的不能很好的控制版，用到的软件包统一放到/gfs目录，包已整理好

链接：https://pan.baidu.com/s/1Xm-NJBEGEYnwYMMIIZaWFA
提取码：o0xp

  • 测试用的磁盘分配以及服务器架构图
    1494092-20190403113011657-215170091.png

  • basic代表服务器本来使用的磁盘，基础上再添加上图相应的磁盘，由于是测试用，为方便直观理解，磁盘大小就是后面的数字：如sdb3，该磁盘大小为3GB。

  • 卷的分布方案

卷名称卷类型空间大小/GB　存储块
dis-volume分布式卷12node1(/sde6)，node2(/sde6)
stripe-volume条带卷10node1（/sdd5），node2（/sdd5）
rep-volume复制卷5node3（/sdd5），node4（/sdd5）
dis-stripe分布式条带卷12node1（/sdb3），node2（/sdb3），node3（/sdb3）,node4(/sdb3)
dis-rep分布式复制卷8node1（/sdc4），node2（/sdc4），node3（sdc4），node4（sdc4）
  • 全部主机修改主机名
  • 全部主机配置hosts文件，一样的
  • 全部node主机创建挂载文件夹，依实际挂载点创建

  • 全部主机创建/gfs文件夹，将所需软件包放入

    mkdir /{gfs,sdb3,sdc4,sdd5} cat /etc/hosts

127.0.0.1   localhost localhost.localdomain localhost4 localhost4.localdomain4
::1         localhost localhost.localdomain localhost6 localhost6.localdomain6
192.168.64.11 node1
192.168.64.12 node2
192.168.64.13 node3
192.168.64.14 node4
192.168.64.15 client
  • 完毕之后进行ping测试
  • 通过传输方式将软件包上传到/gfs文件(里面有一个repo文件夹也要上传)
  • 以上一切完成之后，全部node主机执行以下脚本
vim install.sh
#!/bin/bash
for i in $(fdisk -l | grep -wo "/dev/sd[b-z]" | sort)
do
dd if=/dev/zero of=$i bs=1024 count=1024
fdisk $i << EOF
n
p



w
EOF
#空行很重要不要删除
partprobe $i 
#//不重启系统识别分区
mkfs.ext4 ${i}1 
#//格式化分区
done

mkdir /b3 /c4 /d5 /e6 
fdisk -l | grep -w "/dev/sd[b-z]" | sed -r 's/.*(\/d.{8}).*/\1/g' | sed -r 's/(.*)(.{3})：(.*)/mount \1\21 \/\2\3/' | bash
fdisk -l | grep -w "/dev/sd[b-z]" | sed -r 's/.*(\/d.{8}).*/\1/g' | sed -r 's/(.*)(.{3})：(.*)/\1\21 \/\2\3 xfs default 0 0/' >> /etc/fstab
#-w 只显示全字符合的列。
iptables -F
systemctl stop firewalld
setenforce 0

cat << EOF >> /etc/yum.repos.d/gfs.repo 
[gfs]
name=gfs
baseurl=file:///gfs
gpgcheck=0
enabled=1
EOF

yum clean all && yum makecache
yum -y install glusterfs glusterfs-server glusterfs-fuse glusterfs-rdma
systemctl start glusterd
systemctl enable glusterd
EOF

sh install.sh //执行脚本 netstat -lnpt //查看gluster服务端口是否开启
脚本简单理解

  • 再node1上执行如下命令构建gluster集群
[root@node1 ~]# gluster peer probe node2
peer probe: success. 
[root@node1 ~]# gluster peer probe node3
peer probe: success. 
[root@node1 ~]# gluster peer probe node4
peer probe: success.

[root@node1 ~]# gluster peer status //在每个节点上执行查看集群状态；正常时为（Connected）

二、创建卷

1.创建分布式卷（扩大磁盘空间，读写速度快，没有容错能力）

[root@node1 ~]# gluster volume create dis-volume node1:/sde6 node2:/sde6 force //dis-volume为卷名称，未指定创建卷类型，默认为分布式卷 volume create: dis-volume: success: please start the volume to access data [root@node1 ~]# gluster volume start dis-volume volume start: dis-volume: success [root@node1 ~]# gluster volume info dis-volume //查看该卷的相关信息

2.创建条带卷（以数据块为单位存储，没有容错性）

[root@node1 ~]# gluster volume create stripe-volume stripe 2 node1:/sdd5 node2:/sdd5 force [root@node1 ~]# gluster volume start stripe-volume volume start: stripe-volume: success //stripe表示卷类型条带卷，后面的数量表示条带数

3.创建复制卷（磁盘空间为总空间一半，具备容错性，读快，写慢）

[root@node1 ~]# gluster volume create rep-volume replica 2 node3:/sdd5 node4:/sdd5 force [root@node1 ~]# gluster volume start rep-volume volume start: rep-volume: success

4.创建分布式条带卷（加大容量，读取快，没有容错性）

[root@node1 ~]# gluster volume create dis-stripe stripe 2 node1:/sdb3 node2:/sdb3 node3:/sdb3 node4:/sdb3 force //指定类型为Distributed-Stripe，数值为2，而且后面跟了4个Brick Server，是2的2倍，所以创建的是分布式条带卷。 volume create: dis-stripe: success: please start the volume to access data [root@node1 ~]# gluster volume start dis-stripe volume start: dis-stripe: success

5.创建分布式复制卷(扩展空间，总空间的一半，且具有容错能力)

[root@node1 ~]# gluster volume create dis-rep replica 2 node1:/sdc4 node2:/sdc4 node3:/sdc4 node4:/sdc4/ force //指定类型为Distributed-Replicate，数值为2，而且后面跟了4个Brick Server，是2的2倍，所以创建的是分布式复制卷。 volume create: dis-rep: success: please start the volume to access data [root@node1 ~]# gluster volume start dis-rep volume start: dis-rep: success

三、部署Gluster客户端

1.安装客户端软件
  • 将软件包放至/gfs文件夹
  • 修改前面提到的hostname以及hosts
  • 运行如下脚本
vim in_cl.sh
#!/bin/bash

cat << EOF >> /etc/yum.repos.d/gfs.repo 
[gfs]
name=gfs
baseurl=file:///gfs
gpgcheck=0
enabled=1
EOF

yum clean all && yum makecache
yum -y install glusterfs glusterfs-server glusterfs-fuse glusterfs-rdma
systemctl start glusterd
systemctl enable glusterd

sh in_cl.sh netstat -lnpt | grep glu //可以看到服务已经启动
[root@client ~]# mkdir -pv /test/{dis,stripe,rep,dis_stripe,dis_rep} //创建挂载目录 [root@client ~]# mount -t glusterfs node1:dis-volume /test/dis [root@client ~]# mount -t glusterfs node1:stripe-volume /test/stripe/ [root@client ~]# mount -t glusterfs node1:rep-volume /test/rep/ [root@client ~]# mount -t glusterfs node1:dis-stripe /test/dis_stripe/ [root@client ~]# mount -t glusterfs node1:dis-rep /test/dis_rep/ //挂载glusterfs文件系统到本地客户端，所制定的node1节点只是为了获取配置信息，不代表只和他进行数据传输，会根据配置针对集群来进行数据的存放

  • 修改fstab文件实现永久挂载

  • 添加如下文件

    vim /etc/fstab

node1:dis-volume        /test/dis               glusterfs defaults,_netdev 0 0
node1:stripe-volume     /test/stripe            glusterfs defaults,_netdev 0 0
node1:rep-volume        /test/rep               glusterfs defaults,_netdev 0 0
node1:dis-rep           /test/dis_rep   glusterfs defaults,_netdev 0 0
node1:dis-stripe        /test/dis_stripe        glusterfs defaults,_netdev 0 0

四、测试

  • 生成测试文件（该文件虽没有数据，但是可以进行测试用途）

    [root@client ~]# for i in {1..5};do dd if=/dev/zero of=/root/demon$i.log bs=1M count=43;done [root@client ~]# cp demon* /test/dis && cp demon* /test/dis_rep/ && cp demon* /test/dis_stripe/ && cp demon* /test/rep/ && cp demon* /test/stripe/

  • 查看文件分布状态
  • 分布式卷（node1和node2的/sde6目录查看,可以看到文件被分散开存放）
[root@node1 ~]# ll -h /sde6/
总用量 130M
-rw-r--r--. 2 root root 43M 4月   2 21:32 demon1.log
-rw-r--r--. 2 root root 43M 4月   2 21:32 demon3.log
-rw-r--r--. 2 root root 43M 4月   2 21:32 demon4.log
drwx------. 2 root root 16K 4月   3 2019 lost+found
[root@node2 ~]# ll -h /sde6/
总用量 87M
-rw-r--r--. 2 root root 43M 4月   3 05:32 demon2.log
-rw-r--r--. 2 root root 43M 4月   3 05:32 demon5.log
drwx------. 2 root root 16K 4月   3 03:01 lost+found
  • 条带卷（node1和node2的/sdd5目录查看,清晰看到是以数据块为单位存储的）
[root@node1 ~]# ls -lh /sdd5/
总用量 108M
-rw-r--r--. 2 root root 22M 4月   2 21:31 demon1.log
-rw-r--r--. 2 root root 22M 4月   2 21:31 demon2.log
-rw-r--r--. 2 root root 22M 4月   2 21:31 demon3.log
-rw-r--r--. 2 root root 22M 4月   2 21:31 demon4.log
-rw-r--r--. 2 root root 22M 4月   2 21:31 demon5.log
[root@node2 ~]# ls -lh /sdd5/
总用量 108M
-rw-r--r--. 2 root root 22M 4月   3 05:31 demon1.log
-rw-r--r--. 2 root root 22M 4月   3 05:31 demon2.log
-rw-r--r--. 2 root root 22M 4月   3 05:31 demon3.log
-rw-r--r--. 2 root root 22M 4月   3 05:31 demon4.log
-rw-r--r--. 2 root root 22M 4月   3 05:31 demon5.log
  • 复制卷（node3和node4的/sdd5目录，数据有备份）
[root@node3 ~]# ls -lh /sdd5/
总用量 216M
-rw-r--r--. 2 root root 43M 4月   3 05:32 demon1.log
-rw-r--r--. 2 root root 43M 4月   3 05:32 demon2.log
-rw-r--r--. 2 root root 43M 4月   3 05:33 demon3.log
-rw-r--r--. 2 root root 43M 4月   3 05:33 demon4.log
-rw-r--r--. 2 root root 43M 4月   3 05:33 demon5.log
drwx------. 2 root root 16K 4月   3 03:03 lost+found
[root@node4 ~]# ls -lh /sdd5/
总用量 216M
-rw-r--r--. 2 root root 43M 4月   3 05:32 demon1.log
-rw-r--r--. 2 root root 43M 4月   3 05:32 demon2.log
-rw-r--r--. 2 root root 43M 4月   3 05:33 demon3.log
-rw-r--r--. 2 root root 43M 4月   3 05:33 demon4.log
-rw-r--r--. 2 root root 43M 4月   3 05:33 demon5.log
drwx------. 2 root root 16K 4月   3 02:55 lost+found
  • 分布式条带卷（节点1、2、3、4的/sdb3目录,我日期没有调整，海涵）
[root@node1 ~]# ls -lh /sdb3/
总用量 65M
-rw-r--r--. 2 root root 22M 4月   2 21:32 demon1.log
-rw-r--r--. 2 root root 22M 4月   2 21:32 demon3.log
-rw-r--r--. 2 root root 22M 4月   2 21:32 demon4.log
drwx------. 2 root root 16K 4月   2 18:37 lost+found
[root@node2 ~]# ls -lh /sdb3/
总用量 65M
-rw-r--r--. 2 root root 22M 4月   3 05:32 demon1.log
-rw-r--r--. 2 root root 22M 4月   3 05:32 demon3.log
-rw-r--r--. 2 root root 22M 4月   3 05:32 demon4.log
drwx------. 2 root root 16K 4月   3 03:01 lost+found
[root@node3 ~]# ls -lh /sdb3/
总用量 44M
-rw-r--r--. 2 root root 22M 4月   3 05:32 demon2.log
-rw-r--r--. 2 root root 22M 4月   3 05:32 demon5.log
drwx------. 2 root root 16K 4月   3 03:03 lost+found
[root@node4 ~]# ls -lh /sdb3/
总用量 44M
-rw-r--r--. 2 root root 22M 4月   3 05:32 demon2.log
-rw-r--r--. 2 root root 22M 4月   3 05:32 demon5.log
drwx------. 2 root root 16K 4月   3 02:55 lost+found
  • 分布式复制卷（节点1、2、3、4的/sdc4目录，可看到文件没有被分片,但是是分布开来存放的）
[root@node1 ~]# ls -lh /sdc4/
总用量 130M
-rw-r--r--. 2 root root 43M 4月   2 21:32 demon1.log
-rw-r--r--. 2 root root 43M 4月   2 21:32 demon3.log
-rw-r--r--. 2 root root 43M 4月   2 21:32 demon4.log
drwx------. 2 root root 16K 4月   3 2019 lost+found
[root@node2 ~]# ls -lh /sdc4/
总用量 130M
-rw-r--r--. 2 root root 43M 4月   3 05:32 demon1.log
-rw-r--r--. 2 root root 43M 4月   3 05:32 demon3.log
-rw-r--r--. 2 root root 43M 4月   3 05:32 demon4.log
drwx------. 2 root root 16K 4月   3 03:01 lost+found
[root@node3 ~]# ls -lh /sdc4/
总用量 87M
-rw-r--r--. 2 root root 43M 4月   3 05:32 demon2.log
-rw-r--r--. 2 root root 43M 4月   3 05:32 demon5.log
drwx------. 2 root root 16K 4月   3 03:01 lost+found
[root@node4 ~]# ls -lh /sdc4/
总用量 87M
-rw-r--r--. 2 root root 43M 4月   3 05:32 demon2.log
-rw-r--r--. 2 root root 43M 4月   3 05:32 demon5.log
drwx------. 2 root root 16K 4月   3 03:01 lost+found
破坏测试
  • 直接点关闭node2节点。关机操作。
  • 客户端操作
[root@client ~]# ls /test/dis/
demon1.log  demon3.log  demon4.log  lost+found
//可以看到另外两个文件直接找不到了
[root@client ~]# ls /test/stripe/
[root@client ~]# 
//条带卷因为文件都是分散开放，所以都没有了
[root@client ~]# ls /test/dis_stripe/
demon2.log  demon5.log  lost+found
//分布式条带卷，因为是分布式存储node2宕机导致数据不完整不会显示，1，3，4号文件丢失
[root@client ~]# ls /test/dis_rep/
demon1.log  demon2.log  demon3.log  demon4.log  demon5.log  lost+found
//分布式复制卷完全不受任何影响
//总而言之，了解各卷的特点，再细心观察以下文件分布的具体位置，才能尽可能保证数据可靠性

五、维护命令

[root@node3 ~]# gluster volume list
dis-rep
dis-stripe
dis-volume
rep-volume
stripe-volume
//任何一个节点都可以查看集群列表
[root@node1 ~]# gluster volume info 
//查看所有卷的信息
[root@node1 ~]# gluster volume status       
//查看卷的状态
[root@node3 ~]# gluster volume stop dis-stripe
Stopping volume will make its data inaccessible. Do you want to continue? (y/n) y
volume stop: dis-stripe: success
//停止卷
[root@node3 ~]# gluster volume start dis-stripe
//启动卷
[root@node3 ~]# gluster volume delete dis-stripe
//删除卷

转载于:https://www.cnblogs.com/joinbestgo/p/10647745.html

weixin_30745553
关注
Docker Swarm群集项目案例
weixin_34247155的博客
03-24 337
DockerSwarm群集DockerSwarm 是一个用于创建 Docker 主机（运行 Docker 守护进程的服务器）集群的工具，使用 Swarm 操作集群，会使用户感觉就像是在一台主机上进行操作docker1.12 集成了 swarmkit, 使你可以不用安装额外的软件包, 使用简单的命令启动创建docker swarm 集群。如果你在运行 Docker 1.12 时...
LVS 负载均衡集群 - NAT
serendipity_cat的博客
04-24 1044
LVS 负载均衡集群一、群集概述1.群集技术概述1.1 群集的分类1.1.1 负载均衡群集(Load Balance Cluster)1.1.2 高可用群集 (High Availability Cluster)1.1.3 高性能运算群集 (High Performance Computer Cluster)1.2 负载均衡的分层结构1.2.1 第一层 负载调度器1.2.2 第二层 服务器池1.2.3 第三层 共享存储1.3 负载均衡的工作模式1.3.1 地址转换（Network Address Trans
如何搭建一个集群项目
ToBeNO1_CJ的博客
08-14 2278
如何搭建一个集群项目一、集群项目是什么？二、集群项目有什么用？原文地址：https://blog.csdn.net/yongshuai185/article/details/89455760功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导
glusterFS文件系统与ftp以及java代码的结合
xuchen1994的博客
11-28 3939
glusterFS文件系统与ftp以及java代码的结合之前搭建了一个fastdfs的文件系统，领导说要搞一个glusterfs和ftp结合的，就又学了下glusterfs，感觉挺有用的，和大家分享一些细节。新建虚拟机新建虚拟机，这个我觉得不用介绍了，还是说一下吧^_^ 1.你要有一个VMware或者其他可以创建虚拟机的软件，然后你要有一个linux系统的镜像，我用的是CentOS7，然后就是（1
群集的规划(Cluster)
jamesxu354的博客
11-28 6837
群集的规划(Cluster) 分布式已是目前的主流架构，当今云端充斥着许多的平台，在不同的平台上提供着不同的资源，每种资源大都是以分布式的节点组合起来的，若没有不同的集群（Cluster-Aware）构架来组织这些资源，那这朵云会是个什么样的混乱大家可想而知。 群集的规划Cluster 群集Cluster类型的介绍 集群存儲Storage 如下圖顯示 高可用High Availabi
部署GlusterFS群集
weixin_58376680的博客
04-09 1164
上述实验测试，凡是带复制数据，相比而言，数据比较安全。
GlusterFS分布式文件系统群集资源.rar
05-15
GlusterFS是一款开源的分布式文件系统，用于构建大规模、高性能、可扩展的存储解决方案。它设计的目标是处理PB级别的数据，适用于云存储、大数据分析、内容分发网络（CDN）等多种场景。GlusterFS的核心特性包括无...
GlusterFS分布式文件系统群集
weixin_50945964的博客
12-08 216
简介 在企业中，一些重要的数据一般存储在硬盘上，虽然硬盘本身的性能也在不断提高，但是无论硬盘的存取速度有多快，企业所追寻的首先是可靠性，然后才是效率。如果数据面临丢失的风险.再好的硬件也无法挽回企业的损失。加之近几年云计算的出现，对存储提出了更高的要求。而分布式存储逐渐被人们所接受，它具有更好的性能、高扩展性以及可靠性。大部分分布式解决方案都是通过元服务器存放目录结构等元数据，元数据服务器提供了整个分布式存储的索引工作。但是一旦元数据服务器损坏，整个分布式存储业将无法工作。本章介绍一款无元服务器的分布式存储
快速理解学习GlusterFS分布式文件存储
chenchen的博客
11-30 571
目录一、GlusterFS概述二、GlusterFS工作原理2.1 GlusterFS工作流程2.2 弹性HASH算法三、GlusterFS的卷类型3.1 分布式卷■ 分布式卷3.2 条带卷3.3 复制卷3.4 分布式条带卷3.5 分布式复制卷四、GlusterFS群集部署案例4.1 案例环境4.2 准备磁盘4.3 各节点在进行GFS群集前的准备4.4 安装GFS4.5 创建GFS池4.6 创建各个卷4.7 客户机挂载4.8 验证各条带的现象 一、GlusterFS概述 GlusterFS简介 开源的
十三章——GlusterFS分布式文件系统群集（应用——linux防护与群集）
MKC__jiaoq的博客
09-17 1268
三期总目录链接
谈谈个人网站的建立（五）—— 小集群的部署
weixin_30746117的博客
11-06 610
欢迎访问我的个人网站O(∩_∩)O哈哈~希望大佬们能给个star，个人网站网址：http://www.wenzhihuai.com，个人网站代码地址：https://github.com/Zephery/newblog。 洋洋洒洒的买了两个服务器，用来学习分布式、集群之类的东西，整来整去，感觉分布式这种东西没人指导一下真的是太抽象了，先从网站的分布式部署一步一步学起来吧，虽然网站本身的访问量不大=...
ssm大型分布式集群项目整合
a623982022的博客
12-20 4080
ssm大型分布式集群项目整合
详细记录分布式存储(glusterfs)的安装部署心得
wuwei的博客
05-26 2617
详细记录的glusterfs指定版本的搭建过程和心得，及相关注意事项
linux rocky 9.4部署和管理docker harbor私有源
xikui1551的博客
11-08 783
rocky 部署Harbor私有镜像仓库
github加速下载zip
梨子社区
11-08 95
【代码】github加速下载zip。
PVE纵览-从零开始：了解Proxmox Virtual Environment
最新发布
DreamLife
11-09 715
在这篇文章中，我们将从零开始，带你了解Proxmox Virtual Environment（PVE）。作为一款开源虚拟化管理平台，PVE结合了KVM和LXC技术，提供了强大的虚拟机和容器管理功能。无论是家庭实验室用户还是企业IT专业人士，PVE都能满足多样化的需求。通过这篇简明介绍，你将掌握PVE的基本概念、核心功能及其在虚拟化领域的优势，为进一步学习和应用打下坚实基础。
智能运维新时代：机器学习模型的部署与管理
Echo_Wish的博客
11-06 574
通过合理的部署方案、版本管理、监控与自动化部署，可以确保模型在生产环境中的稳定运行和持续优化。Flask是一个轻量级的Web框架，适用于小型和中型模型的部署。通过Docker，可以将模型和其依赖打包成一个容器镜像，方便部署和管理。监控与告警：使用监控工具（如Prometheus和Grafana）实时监控模型的运行状态和性能指标，及时发现并处理异常情况。版本管理：通过版本控制系统（如Git）管理模型的版本，确保能够追踪和回滚模型更新。模型部署的方式多种多样，下面介绍几种常用的部署方法。
第一章：Docker 安装TDengine
RodJohnsonDoctor的专栏
11-05 315
TDengine 是一个高性能、分布式的时序数据库，专为物联网 (IoT) 和大数据分析设计。使用 Docker Compose 可以快速地搭建 TDengine 的开发或测试环境。以下技术指南，帮助您通过 Docker Compose 安装并运行 TDengine。
Linux磁盘存储
眷怀的博客
11-06 1157
设备文件是类Unix操作系统（包括Linux）中一种特殊的文件类型，它代表了设备接口，使得用户空间的程序可以通过标准的文件操作来访问和控制硬件设备。设备文件为周边设备提供了简单的接口，如打印机、硬盘等，也可以访问没有连接到任何真实设备的系统资源，如随机数生成器等。
使用GlusterFS构建Docker集群分布式存储
"基于GlusterFS实现Docker集群的分布式存储" 在现代云计算环境中，Docker作为容器技术的代表，已经成为了许多企业级应用的重要选择。由于容器化的特性，Docker容器本身并不直接支持持久化数据，而是通过数据卷...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值