Glusterfs

最新推荐文章于 2024-06-12 10:58:42 发布
最新推荐文章于 2024-06-12 10:58:42 发布
阅读量84 收藏
点赞数
分类专栏： Glusterfs 文章标签： Glusterfs
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/huigqing301/article/details/85271220
版权

一，分布式文件系统

在这里插入图片描述在这里插入图片描述在这里插入图片描述

GluterFS概述

在这里插入图片描述在这里插入图片描述

1.5GlusterFS企业主要应用场景

在这里插入图片描述在这里插入图片描述

Glushter优点：不会出现单点，容量可以扩展，读写性能非常好（具体数据64个节点吞吐量是32GB/S），小文件（小于1M的交给CDN）

缺点：读写速度是32GB/S，但是一般平常使用千兆网卡（1000Mb/8=125MB/S），这样网卡无法承受，但是我们可以将网卡进行bond0绑定，但是无法解决带宽问题

NFS缺点：处理小文件性能不佳，单点问题，磁盘插槽满了磁盘不能扩容

二，部署安装

GlusterFS安装准备

在这里插入图片描述在这里插入图片描述使用本地yum安装createrepo
cd到rpm包里面使用createrepo -v .
在这里插入图片描述将各个节点映射本地文件
vim /etc/hosts
在这里插入图片描述

cat /etc/yum.repos.d/CentOS-Media.repo
制作本地yum源

在这里插入图片描述yum -y clean all
yum makecache

yum -y install glusterfs-server glusterfs-cli glusterfs-geo-replication
在这里插入图片描述

加入出现一下情况（版本冲突）

在这里插入图片描述

测试Glusterfs服务的状态和启停

在这里插入图片描述

在这里插入图片描述

确保所有的虚拟机的glusterd服务都处于开启状态，并做如下操作

gluster peer probe glusterfs02（主机名）
gluster peer probe glusterfs03（主机名）
以下相同····结果如下所示
在这里插入图片描述我们看它的状态
在这里插入图片描述

从存储池中删除节点

[root@node1 ~]# gluster peer detach glusterfs02

peer detach: success

[root@node1 ~]# gluster peer probe glusterfs02

peer probe: success.

可以通过本地光盘源安装xfs支持包（Centos7不需要安装）

yum -y install xfsprogs

xfs是将数据盘的格式弄成xfs的格式，目前式ext4的格式

在这里插入图片描述
格式化硬盘

mkfs.ext4 /dev/sdb
在这里插入图片描述
在这里插入图片描述在这里插入图片描述
在这里插入图片描述

在这里插入图片描述

基本卷特点：

分布式卷（哈希卷）：相当于raid0的读写速度
复制卷：相当于raid1
条带式卷：针对大文件才会用

复合卷特点

分布式复合卷：相当于raid1+raid0
分布式条带卷：针对大文件才会用(例如视频类公司)，会将整个文件分成两份平均分给两个节点
复制条带卷：------------
分布式复制条带卷：最安全的，结合分布式复合卷和分布式条带卷特点

以下是分布式卷

在这里插入图片描述

volume的两种挂载方式

1.以glusterfs的方式挂载

挂载卷到目录（在glusterfs01上操作）前提条件式本机要安装glusterfs

在这里插入图片描述

我们在glusterfs01和glusterfs02上查看/gluster/brick1/目录：

首先gluster01上的/gluster/brick1
在这里插入图片描述
gluster02上的/gluster/brick1
在这里插入图片描述

2.以NFS的方式进行挂载

挂载之前我们如何打开glusterfs的NFS挂载方式

在这里插入图片描述

在这里插入图片描述
在这里插入图片描述

在这里插入图片描述

在这里插入图片描述
在主机WebClient上查看挂载情况

df -hT
在这里插入图片描述

以下是分布式复制卷

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述在这里插入图片描述

创建分布式条带卷

在这里插入图片描述
在这里插入图片描述

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

特点：将挂载之后存储的内容平均分配给两个节点

四，存储卷中brick块设备的扩容

1.分布式复制卷的扩容

在这里插入图片描述在这里插入图片描述

[root@WebClient ~]# mount -o nolock -t nfs 192.168.40.148:/gs2 /mnt
[root@WebClient ~]# df -hT
Filesystem                   Type   Size  Used Avail Use% Mounted on
/dev/mapper/VolGroup-lv_root ext4    18G  987M   16G   6% /
tmpfs                        tmpfs  491M     0  491M   0% /dev/shm
/dev/sda1                    ext4   485M   33M  427M   8% /boot
/dev/sdb                     ext4   9.9G  151M  9.2G   2% /gluster/brick1
/dev/sdc                     ext4   9.9G  151M  9.2G   2% /gluster/brick2
192.168.40.148:/gs2          nfs     20G  301M   19G   2% /mnt

我们查看gluster03和gluster04服务器的/gluster/brick1和/gluster/brick2文件内容

在这里插入图片描述在这里插入图片描述

再次在WebClient 服务器/mnt创建文件

[root@WebClient ~]# touch /mnt/{11..20}
[root@WebClient ~]# ls /mnt/
1  10  11  12  13  14  15  16  17  18  19  2  20  3  4  5  6  7  8  9  lost+found

再查看gluster03和gluster04服务器的/gluster/brick1和/gluster/brick2文件内容

在这里插入图片描述在这里插入图片描述

我们需要对磁盘平衡操作

在这里插入图片描述

队gs2做磁盘平衡

[root@glusterfs04 ~]# gluster volume rebalance gs2 start
volume rebalance: gs2: success: Rebalance on gs2 has been started successfully. Use rebalance status command to check status of the rebalance process.
ID: e9efa11e-6c52-4fa2-9530-49a3a99f4d49

注意：平衡以后需要重新挂载

之后的结果

在这里插入图片描述
在这里插入图片描述

在这里插入图片描述
在这里插入图片描述在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述在这里插入图片描述
在这里插入图片描述在这里插入图片描述

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述在这里插入图片描述在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述在这里插入图片描述在这里插入图片描述在这里插入图片描述在这里插入图片描述

[root@glusterfs04 ~]# gluster volume heal gs2 full
Launching heal operation to perform full self heal on volume gs2 has been successful 
Use heal info commands to check status

在这里插入图片描述

常见问题

问题1

[root@localhost ~]# gluster peer status
Connection failed. Please check if gluster daemon is operational.

原因：未开启glusterd服务

解决方法：开启glusterd服务

/etc/init.d/glusterd start

问题2

[root@localhost ~]# gluster peer probe 192.168.230.130

peer probe: failed: Probe returned with unknown errno 107

原因：日志中打印[2014-05-15 15:55:25.929461] I [glusterd-handler.c:2836:glusterd_probe_begin] 0-glusterd:Unable to find peerinfo for host: 192.168.230.130 (24007)

防火墙没开启24007端口

解决方法：开启24007端口或者关掉防火墙

/sbin/iptables -I INPUT -p tcp --dport 24007 -j ACCEPT # 开启24007端口

/etc/init.d/iptables stop # 关掉防火墙

注：

也可以使用主机名来代替IP，修改/etc/hosts文件实现

gluster peer probe server-130

问题3

volume create volume1 192.168.230.135:/tmp/brick1
volume create: volume2: failed

不能只使用一个server上的brick创建volume，需要至少两个brick，或者在client主机(这里为192.168.230.134)上使用一个brick创建volume。
[cpp] view plaincopy在CODE上查看代码片派生到我的代码片

gluster> volume create volume1 192.168.230.134:/tmp/brick1 force  
volume create: volume1: success: please start the volume to access data  
gluster> volume info  
  
Volume Name: volume1  
Type: Distribute  
Volume ID: b01a2c29-09a6-41fd-a94e-ea834173a6a3  
Status: Created  
Number of Bricks: 1  
Transport-type: tcp  
Bricks:  
Brick1: 192.168.230.134:/tmp/brick1  
  
gluster>  
  
gluster> volume create volume2 192.168.230.134:/tmp/brick2  192.168.230.135:/tmp/brick2 force  
volume create: volume2: success: please start the volume to access data  
gluster> volume info  
   
Volume Name: volume1  
Type: Distribute  
Volume ID: b01a2c29-09a6-41fd-a94e-ea834173a6a3  
Status: Created  
Number of Bricks: 1  
Transport-type: tcp  
Bricks:  
Brick1: 192.168.230.134:/tmp/brick1  
   
Volume Name: volume2  
Type: Distribute  
Volume ID: 4af2e260-70ce-49f5-9663-9c831c5cf831  
Status: Created  
Number of Bricks: 2  
Transport-type: tcp  
Bricks:  
Brick1: 192.168.230.134:/tmp/brick2  
Brick2: 192.168.230.135:/tmp/brick2

问题4

创建一个volume后删除，再使用同名的brick创建volume失败。

gluster> volume create test 192.168.230.134:/tmp/brick1 force  
volume create: test: success: please start the volume to access data  
gluster> volume info   
   
Volume Name: test  
Type: Distribute  
Volume ID: c29f75d2-c9f5-4d6f-90c5-c562139ab9cd  
Status: Created  
Number of Bricks: 1  
Transport-type: tcp  
Bricks:  
Brick1: 192.168.230.134:/tmp/brick1  
gluster> volume delete test force  
Usage: volume delete <VOLNAME>  
gluster> volume delete test  
Deleting volume will erase all information about the volume. Do you want to continue? (y/n) y  
volume delete: test: success  
gluster> volume create test 192.168.230.134:/tmp/brick1 force  
volume create: test: failed: /tmp/brick1 or a prefix of it is already part of a volume

因为volume delete时并未删掉create时创建的目录，需要手动删除后再使用。

huigqing301
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
GlusterFS SnapShot 调研
Terry Tsang
11-09 203
对 blusterfs snapshot 进行测试调研
glusterfs 5.0
11-06
GlusterFS 5.0 是一个先进的、分布式文件系统，专为大规模的云存储和大数据应用而设计。它提供了一种可扩展、无中心、高性能的解决方案，支持PB级的数据存储。在Ubuntu 18.04上安装GlusterFS 5.0，可以为用户提供...
GlusterFS
weixin_64447699的博客
06-12 906
GlusterFS 是一个开源的分布式文件系统，旨在为海量数据存储提供高性能、可扩展、和灵活的解决方案。它由 Gluster 公司开发，后被 Red Hat 收购。弹性 Hash 算法（Elastic Hash Algorithm）是 GlusterFS 用于分布数据的一种方法，类似于 Redis 的哈希槽。它的具体实现基于 Davies-Meyer 算法，通过将数据均匀分布在多个存储单元（Bricks）上，从而提高系统的可靠性和性能。
Glusterfs 调优
不忘初心，方得始终
08-08 582
直接上干货，替换volume 名称，CPU、memory 根据实际机型来配置。
Glusterfs 扩缩容步骤
叱咤少帅的博客
09-10 205
Glusterfs 扩容步骤
GlusterFS 应用
mx_steve的博客
02-01 401
GlusterFS 应用1. glusterfs 简介2. glusterfs 部署1. 介绍2. 安装glusterfs前的环境准备3. 操作3. glustefs 分布式存储优化4. glusterfs 在企业中应用场景 1. glusterfs 简介 Glusterfs 是一个开源的分布式文件系统，是 Scale 存储的核心，能够处理千数量级的客户端。 是整合了许多存储块（server）通过 Infiniband RDMA 或者 Tcp/Ip 方式互联的一个并行的网络文件系统。 2.　特征 容量可
glusterfs
wuxingge的博客
09-13 2036
QQ: 1226032602 E-mail: 1226032602@qq.com glusterfs https://www.gluster.org/ https://docs.gluster.org/en/latest/Install-Guide/Setup_virt/ glusterfs概述 1. 什么是Gluster Gluster是一个横向扩展的分布式文件系统，可将来自多个服务器的磁盘存储...
GlusterFS 分布式文件系统
weixin_48190863的博客
08-10 339
GlusterFS 分布式文件系统,用于存储、管理磁盘文件 文件系统（FS） 文件系统组成 1、文件系统接口 2、对对像管理的软件集合 3、对象及属性 文件系统作用 从系统角度来看，文件系统是对文件存储设备的空间进行组织和分配，负责文件存储并对存入的文件进行保护和检索的系统。 具体地说，它负责为用户建立文件，存入、读出、修改、转储文件，控制文件的存取 文件系统的挂载使用 除根文件系统以外的文件系统创建后要使用需要先挂载至挂载点后才可以被访问，挂载点即分区设备文件关联的某个目录文件 类比:NES Gluste
GlusterFs部署及使用
不忘初心，方得始终
07-07 2765
部署glusterfs 注意：部署过程很简单，只需要安装一个glusterfs-server即可，需要注意的是glusterfs 客户端也需要安装一个客户端工具，并且配置hosts可以解析glusterfs-server的主机名 注意：删除卷的前提是先停止卷，如果要删除卷下面的数据，现在客户端将卷下的数据删除完毕，再停止卷，再删除卷 5.2 k8s创建资源对象使用glusterfs存储 5.2.1 创建glusterfs-endpoints 5.2.2 为这些端点创建一
GlusterFS分布式存储系统
qq_41800205的博客
09-16 891
GlusterFS分布式存储系统 一，分布式文件系统理论基础 1.1 分布式文件系统出现 计算机通过文件系统管理，存储数据，而现在数据信息爆炸的时代中人们可以获取的数据成指数倍的增长，单纯通过增加硬盘个数来扩展计算机文件系统的存储容量的方式，已经不能满足目前的需求。 分布式文件系统可以有效解决数据的存储和管理难题，将固定于某个地点的某个文件系统，扩展到任意多个地点/多个文件系统，众多的节点组成一个文件系统网络。每个节点可以分布在不同的地点，通过网络进行节点间的通信和数据传输。人们在使用分布式.
glusterfs3.7.9
01-03
GlusterFS是一款开源的、分布式文件系统，专为大规模存储设计，可扩展到数千个节点，提供PB级的存储容量。3.7.9版本是该系统的一个稳定版本，适合在生产环境中部署使用。这个“全家桶安装包”通常包含了GlusterFS...
GlusterFS学习笔记.docx
05-12
GlusterFS 学习笔记 GlusterFS 是一种开源的分布式文件系统，它可以将多个硬盘组合成一个大型存储系统，提供高性能、可扩展性和高可用性的存储解决方案。下面是 GlusterFS 的一些重要知识点： 1. Raid 概念 Raid...
glusterfs.tar.gz
06-25
GlusterFS是一款开源的分布式文件系统，用于构建大规模、高性能、可扩展的存储解决方案。它设计用于处理PB级的数据，并且支持多种类型的硬件环境。在本压缩包`glusterfs.tar.gz`中，包含了适用于CentOS 7平台的...
mpu6050陀螺仪使用方法开发教程文档.docx
07-30
mpu6050陀螺仪使用方法
【SCI顶级】龙格库塔算法RUN-CNN-LSTM-Multihead-Attention温度预测【含源码 5747期】.zip
07-30
CSDN海神之光上传的全部代码均可运行，亲测可用，直接替换数据即可，适合小白； 1、代码压缩包内容 主函数：Main .m； 数据； 调用函数：其他m文件；无需运行 运行结果效果图； 2、代码运行版本 Matlab 2019b；若运行有误，根据提示修改；若不会，可私信博主； 3、运行操作步骤 步骤一：将所有文件放到Matlab的当前文件夹中； 步骤二：双击打开除Main.m的其他m文件； 步骤三：点击运行，等程序运行完得到结果； 4、仿真咨询 如需其他服务，可私信博主或扫描博主博客文章底部QQ名片； 4.1 CSDN博客或资源的完整代码提供 4.2 期刊或参考文献复现 4.3 Matlab程序定制 4.4 科研合作 智能优化算法-CNN-LSTM-Mutilhead-Attention回归预测系列程序定制或科研合作方向： 4.4.1 遗传算法GA/蚁群算法ACO-CNN-LSTM-Mutilhead-Attention回归预测 4.4.2 粒子群算法PSO/蛙跳算法SFLA-CNN-LSTM-Mutilhead-Attention回归预测 4.4.3 灰狼算法GWO/狼群算法WPA-CNN-LSTM-Mutilhead-Attention回归预测 4.4.4 鲸鱼算法WOA/麻雀算法SSA-CNN-LSTM-Mutilhead-Attention回归预测 4.4.5 萤火虫算法FA/差分算法DE-CNN-LSTM-Mutilhead-Attention回归预测
大模型的数学之魂：统计学习理论精要
07-30
大型机器学习模型，通常简称为“大模型”，是指具有数十亿甚至数千亿参数的深度神经网络模型。这些模型因为其庞大的参数量和复杂的计算结构，能够处理非常复杂的任务和数据，展现出强大的表达能力和预测性能。大模型在自然语言处理、计算机视觉、语音识别和推荐系统等多个领域都有广泛的应用。 大模型的设计目的是通过训练海量数据来学习复杂的模式和特征，从而具备强大的泛化能力，能够对未见过的数据做出准确的预测。与参数较少、层数较浅的小模型相比，大模型虽然需要更多的计算资源和时间来训练和推理，但它们展现出了一种被称为“涌现能力”的特性，即从原始训练数据中自动学习并发现新的、更高层次的特征和模式。 大模型的发展历程可以分为几个阶段，从早期的卷积神经网络模型发展到以Transformer为代表的全新神经网络模型，再到当前以GPT为代表的预训练大模型阶段。Transformer架构因其自注意力机制而成为大模型的核心技术，它使得模型能够更好地理解和处理文本数据中的长距离依赖关系。 大模型的分类主要包括语言大模型（NLP）、视觉大模型（CV）和多模态大模型。语言大模型专注于处理文本数据和理解自然语言，而视觉大模型用
唯美淡雅四页.zip
最新发布
07-30
【简历模板】工作总结、商业计划书、述职报告、读书分享、家长会、主题班会、端午节、期末、夏至、中国风、卡通、小清新、岗位竞聘、公司介绍、读书分享、安全教育、文明礼仪、儿童故事、绘本、防溺水、夏季安全、科技风、商务、炫酷、企业培训、自我介绍、产品介绍、师德师风、班主任培训、神话故事、巴黎奥运会、世界献血者日、防范非法集资、3D快闪、毛玻璃、人工智能等等各种样式的ppt素材风格。 设计模板、图片素材、PPT模板、视频素材、办公文档、小报模板、表格模板、音效配乐、字体库。 广告设计：海报，易拉宝，展板，宣传单，宣传栏，画册，邀请函，优惠券，贺卡，文化墙，标语，制度，名片，舞台背景，广告牌，证书，明信片，菜单，折页，封面，节目单，门头，美陈，拱门，展架等。 电商设计：主图，直通车，详情页，PC端首页，移动端首页，钻展，优惠券，促销标签，店招，店铺公告等。 图片素材：PNG素材，背景素材，矢量素材，插画，元素，艺术字，UI设计等。 视频素材：AE模板，会声会影，PR模板，视频背景，实拍短片，音效配乐。 办公文档：工作汇报，毕业答辩，企业介绍，总结计划，教学课件，求职简历等PPT/WORD模板。
仿真验证阵列可以提高接收信号信噪比
07-30
这是一份模拟了阵列输入信号及噪声，并验证了相对于阵列接收到的信号，阵列输出信号可以将信噪比提高M倍，其中M为阵列的阵元个数的代码。 代码中可以随意修改阵元个数、阵元间距、波束指向角度、信号频率等。 代码中关键部分均含有文字注释，完全不必担心看不懂。 无论是从仿真波形，还是计算的信噪比结果均能看出阵元数为M的阵列将信号的信噪比提高了M倍。
GlusterFS：分布式存储平台深度解析
"GlusterFS Internals.pdf" GlusterFS是一个高度可扩展的通用存储平台，设计用于处理各种常见的存储任务。这个平台的核心特点包括集群管理与配置、数据分布和复制以及共享的控制和数据结构。它的灵活性允许它以多种...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值