GFS分布式文件系统

最新推荐文章于 2024-04-09 12:09:47 发布
最新推荐文章于 2024-04-09 12:09:47 发布
阅读量208 收藏
点赞数
文章标签： gfs
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/ITwang1/article/details/121950872
版权

目录

一、GlusterFS简介

二、GlusterFS特点

三、GlusterFS术语

四、GlusterFS构成

五、后端存储如何定位文件

六、GFS支持的七种卷

七、GFS部署

1、集群环境

2、更改节点名称

3、节点进行磁盘挂载，安装本地源

4、添加节点创建集群

5、根据规划创建卷 

1．创建分布式卷

2．创建条带卷

3.创建复制卷

4．创建分布式条带卷

5．创建分布式复制卷

6、部署gluster客户端

7、查看文件分布

1、查看分布式文件分布（node1:/dev/sdb1、node2:/dev/sdb1）

 2、查看条带卷文件分布（node1:/dev/sdc1、node2:/dev/sdc1）

3、查看复制卷文件分布（node3:/dev/sdb1、node4:/dev/sdb1）

4、查看分布式条带卷分布（node1:/dev/sdd1、node2:/dev/sdd1、node3:/dev/sdd1、node4:/dev/sdd1）

5、查看分布式复制卷分布（node1:/dev/sde1、node2:/dev/sde1、node3:/dev/sde1、node4:/dev/sde1）

八、冗余测试

一、GlusterFS简介

  • 开源的分布式文件系统
  • 由存储服务器、客户端以及NFS/Samba 存储网关组成
  • 无元数据服务器

FS：文件系统
文件系统组成：
1、文件系统接口
2、对对像管理的软件集合
3、对象及属性


二、GlusterFS特点

  • 扩展性和高性能
  • 高可用性
  • 全局统一命名空间
  • 弹性卷管理
  • 基于标准协议




三、GlusterFS术语

1、Brick（块存储服务器）实际存储用户数据的服务器

2、Volume本地文件系统的"分区"

3、FUSE用户空间的文件系统（类别EXT4），”这是一个伪文件系统“，用户端的交换模块

4、VFS（虚拟端口）内核态的虚拟文件系统，用户是提交请求给VFS 然后VFS交给FUSH，再交给GFS客户端，最后由客户端交给远端的存储

5、Glusterd（服务）是运行再存储节点的进程（客户端运行的是gluster client）GFS使用过程中整个GFS之间的交换由Gluster client 和glusterd完成

小结：使用GFS会使用到以上的虚拟文件系统





四、GlusterFS构成

模块化堆栈式架构

  • 模块化、堆栈式的架构
  • 通过对模块的组合，实现复杂的功能

1、API：应用程序编程接口
2、模块化：每个模块可以提供不同的功能
3、堆栈式：同时启用多个模块，多个功能可以组合，实现复杂的功能

1、I/O cache：I/O缓存

2、read ahead：内核文件预读

3、distribute/stripe：分布式、条带化

4、Gige：千兆网/千兆接口

5、TCP/IP：网络协议

6、InfiniBand：网络协议，与TCP/IP相比，TCP/IP具有转发丢失数据包的特性，基于此通信协议可能导致通信变慢，而IB使用基于信任的、流控制的机制来保证连接完整性

7、RDMA：负责数据传输，有一种数据传输协议，功能：为了解决传输过程中客户端与服务器端数据处理的延迟

解读上图：

上半部分为客户端，中间为网络层，下半部分为服务端
1、封装多个功能模块，组成堆栈式的结构，来实现复杂的功能
2、然后以请求的方式与客户端进行交互，客户端与服务端进行交互，由于可能会存在系统兼容问题，需要通过posix来解决系统兼容性问题，让客户端的命令通过posix过滤后可以在服务端执行

上图
1、外来一个请求，例：用户端申请创建一个文件，客户端或应用程序通过GFS的挂载点访问数据

2、linux系统内容通过VFSAPI收到请求并处理

3、VFS将数据递交给FUSE内核文件系统，fuse文件系统则是将数据通过/dev/fuse设备文件递交给了GlusterFS client端

4、GlusterFS client端收到数据后，会根据配置文件的配置对数据进行处理

5、再通过网络，将数据发送给远端的ClusterFS server，并将数据写入到服务器储存设备上

6、server再将数据转交给VFS伪文件系统，再由VFS进行转存处理，最后交给EXT3

五、后端存储如何定位文件

  • 弹性HASH算法
    通过HASH算法得到一个固定长度的数据（这里是32位整数）
    通常情况下，不同数据得到的结果是不同的

  • 为了解决分布式文件数据索引、定位的复杂程度，而使用了HASH算法来辅助


六、GFS支持的七种卷

1、分布式卷（默认）：文件通过HASH算法分布到所有Brick Server上，这种卷是GFS的基础；以文件为单位根据HASH算法散列到不同的Brick，其实只是扩大了磁盘空间，并不具备容错能力，属于文件级RAID 0

2、条带卷（默认）：类似RAID 0，文件被分成数据库并以轮询的方式分布到多个Brick Server上，文件存储以数据块为单位，支持大文件存储，文件越大，读取效率越高

3、复制卷（Replica volume）：将文件同步到多个Brick上，使其具备多个文件副本，属于文件级RAID 1，具有容错能力。因为数据分散在多个Brick中，所以读性能得到很大提升，但写性能下降

4、分布式条带卷（Distribute Stripe volume）：Brick Server数量是条带数（数据块分布的Brick数量）的倍数，兼具分布式卷和条带的特点

5、分布式复制卷（Distribute Replica volume）：Brick Server数量是镜像数（数据副本 数量）的倍数，兼具分布式卷和复制卷的特点

6、条带复制卷（Stripe Replca volume）：类似RAID 10，同时具有条带卷和复制卷的特点

7、分布式条带复制卷（Distribute Stripe Replicavolume）：三种基本卷的复合卷通常用于类Map Reduce应用

七、GFS部署






1、集群环境

Node1节点：node1/192.168.48.100		  磁盘： /dev/sdb1			挂载点： /data/sdb1
											/dev/sdc1					/data/sdc1
											/dev/sdd1					/data/sdd1
											/dev/sde1					/data/sde1

Node2节点：node2/192.168.48.101	  磁盘： /dev/sdb1			挂载点： /data/sdb1
											/dev/sdc1					/data/sdc1
											/dev/sdd1					/data/sdd1
											/dev/sde1					/data/sde1

Node3节点：node3/192.168.48.102		  磁盘： /dev/sdb1			挂载点： /data/sdb1
											/dev/sdc1					/data/sdc1
											/dev/sdd1					/data/sdd1
											/dev/sde1					/data/sde1

Node4节点：node4/192.168.48.110   	  磁盘： /dev/sdb1			挂载点： /data/sdb1
											/dev/sdc1					/data/sdc1
											/dev/sdd1					/data/sdd1
											/dev/sde1					/data/sde1

客户端节点：192.168.48.111

1、首先，每台节点添加四块磁盘，仅做实验，无需太大
2、然后࿰

最低0.47元/天 解锁文章
王尼码
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
GFS分布式文件系统实验包
04-08
**GFS分布式文件系统实验包** GFS，全称为Google File System，是Google开发的一款分布式文件系统，主要用于处理大规模的数据存储和处理任务。这个实验包是针对GFS的一个学习资源，旨在帮助用户理解和掌握分布式...
GFS分布式 文件系统
mikechen1的博客
04-08 850
开源的分布式文件系统，由存储服务器、客户端以及NFS/Samba存储网关组成，无原数据服务器具有扩展性和高性能，高可用性有（冗余、容灾），全局统一命名空间，弹性卷管理，基于标准协议，通过多和互联网的存储节点进行冗余，以确保数据的可用性和一致性。
GFS 分布式文件系统
wyq2070857323的博客
04-09 846
GlusterFS 是一个开源的分布式文件系统。由存储服务器、客户端以及NFS/Samba 存储网关（可选，根据需要选择使用）组成。没有元数据服务器组件，这有助于提升整个系统的性能、可靠性和稳定性。
GFS分布式文件系统（详解与配置）
qq_51545656的博客
12-21 1401
FUSE是一个用户空间文件系统的框架，允许非特权用户在用户空间中实现文件系统。通过FUSE，文件系统的实现不需要修改内核，而是在用户空间中运行。
搭建GFS分布式文件系统
12-15
一、GlusterFS概述； 二、GlusterFS存储架构； 三、GlusterFS工作原理； 四、GlusterFS卷的类型； 五、案例：搭建Gluster分布式文件系统
第四十八章：GFS分布式文件系统1
08-08
【第四十八章：GFS分布式文件系统1】 GlusterFS是一个开源的分布式文件系统，源自Google File System（GFS），但并非直接等同。它利用TCP/IP网络将存储资源分散在多个网络节点，通过聚合为用户提供单一的统一访问点...
【SCI顶级】金豺算法GJO-CNN-LSTM-Multihead-Attention温度预测【含源码 5741期】.zip
07-30
CSDN海神之光上传的全部代码均可运行，亲测可用，直接替换数据即可，适合小白； 1、代码压缩包内容 主函数：Main .m； 数据； 调用函数：其他m文件；无需运行 运行结果效果图； 2、代码运行版本 Matlab 2019b；若运行有误，根据提示修改；若不会，可私信博主； 3、运行操作步骤 步骤一：将所有文件放到Matlab的当前文件夹中； 步骤二：双击打开除Main.m的其他m文件； 步骤三：点击运行，等程序运行完得到结果； 4、仿真咨询 如需其他服务，可私信博主或扫描博主博客文章底部QQ名片； 4.1 CSDN博客或资源的完整代码提供 4.2 期刊或参考文献复现 4.3 Matlab程序定制 4.4 科研合作 智能优化算法-CNN-LSTM-Mutilhead-Attention回归预测系列程序定制或科研合作方向： 4.4.1 遗传算法GA/蚁群算法ACO-CNN-LSTM-Mutilhead-Attention回归预测 4.4.2 粒子群算法PSO/蛙跳算法SFLA-CNN-LSTM-Mutilhead-Attention回归预测 4.4.3 灰狼算法GWO/狼群算法WPA-CNN-LSTM-Mutilhead-Attention回归预测 4.4.4 鲸鱼算法WOA/麻雀算法SSA-CNN-LSTM-Mutilhead-Attention回归预测 4.4.5 萤火虫算法FA/差分算法DE-CNN-LSTM-Mutilhead-Attention回归预测
2023睿抗机器人开发者大赛.zip
07-30
毕业设计是高等教育阶段学生完成学业的一个重要环节，通常在学士或硕士学业即将结束时进行。这是学生将在整个学业中所学知识和技能应用到实际问题上的机会，旨在检验学生是否能够独立思考、解决问题，并展示其专业能力的一项综合性任务。 毕业设计的主要特点包括： 独立性： 毕业设计要求学生具备独立思考和解决问题的能力。学生需要选择一个合适的课题，研究相关文献，进行实地调查或实验，并提出独立见解。 实践性： 毕业设计是将理论知识应用到实际问题中的一次实践。通过完成毕业设计，学生能够将所学的专业知识转化为实际的解决方案，加深对专业领域的理解。 综合性： 毕业设计往往要求学生运用多个学科的知识，综合各种技能。这有助于培养学生的综合素养，提高他们的综合能力。 导师指导： 学生在毕业设计过程中通常由一名指导老师或导师团队提供指导和支持。导师负责引导学生确定研究方向、制定计划、提供建议，并在整个过程中监督进展。 学术规范： 毕业设计要求学生按照学术规范完成研究，包括文献综述、研究设计、数据采集与分析、结论和讨论等环节。学生需要撰写一篇完整的毕业论文，并进行答辩。
【JCR一区级】飞蛾扑火算法MFO-CNN-LSTM-Attention故障诊断分类预测【含源码 5668期】.zip
07-30
CSDN海神之光上传的全部代码均可运行，亲测可用，直接替换数据即可，适合小白； 1、代码压缩包内容 主函数：Main .m； 数据； 调用函数：其他m文件；无需运行 运行结果效果图； 2、代码运行版本 Matlab 2019b；若运行有误，根据提示修改；若不会，可私信博主； 3、运行操作步骤 步骤一：将所有文件放到Matlab的当前文件夹中； 步骤二：双击打开除Main.m的其他m文件； 步骤三：点击运行，等程序运行完得到结果； 4、仿真咨询 如需其他服务，可私信博主或扫描博主博客文章底部QQ名片； 4.1 CSDN博客或资源的完整代码提供 4.2 期刊或参考文献复现 4.3 Matlab程序定制 4.4 科研合作 智能优化算法-CNN-LSTM-Attention分类系列程序定制或科研合作方向： 4.4.1 遗传算法GA/蚁群算法ACO-CNN-LSTM-Attention分类 4.4.2 粒子群算法PSO/蛙跳算法SFLA-CNN-LSTM-Attention分类 4.4.3 灰狼算法GWO/狼群算法WPA-CNN-LSTM-Attention分类 4.4.4 鲸鱼算法WOA/麻雀算法SSA-CNN-LSTM-Attention分类 4.4.5 萤火虫算法FA/差分算法DE-CNN-LSTM-Attention分类
SCI一区】蚁狮算法ALO-CNN-BiLSTM-Mutilhead-Attention多变量时序预测含源码 5651.zip
07-30
CSDN海神之光上传的全部代码均可运行，亲测可用，直接替换数据即可，适合小白； 1、代码压缩包内容 主函数：Main .m； 数据； 调用函数：其他m文件；无需运行 运行结果效果图； 2、代码运行版本 Matlab 2019b；若运行有误，根据提示修改；若不会，可私信博主； 3、运行操作步骤 步骤一：将所有文件放到Matlab的当前文件夹中； 步骤二：双击打开除Main.m的其他m文件； 步骤三：点击运行，等程序运行完得到结果； 4、仿真咨询 如需其他服务，可私信博主或扫描博主博客文章底部QQ名片； 4.1 CSDN博客或资源的完整代码提供 4.2 期刊或参考文献复现 4.3 Matlab程序定制 4.4 科研合作 智能优化算法-CNN-BiLSTM-Mutilhead-Attention回归预测系列程序定制或科研合作方向： 4.4.1 遗传算法GA/蚁群算法ACO-CNN-BiLSTM-Mutilhead-Attention回归预测 4.4.2 粒子群算法PSO/蛙跳算法SFLA-CNN-BiLSTM-Mutilhead-Attention回归预测 4.4.3 灰狼算法GWO/狼群算法WPA-CNN-BiLSTM-Mutilhead-Attention回归预测 4.4.4 鲸鱼算法WOA/麻雀算法SSA-CNN-BiLSTM-Mutilhead-Attention回归预测 4.4.5 萤火虫算法FA/差分算法DE-CNN-BiLSTM-Mutilhead-Attention回归预测
C++头文件1.0（标准化头文件，入门者必背）
07-30
C++头文件1.0（标准化头文件，入门者必背）C++头文件1.0（标准化头文件，入门者必背）C++头文件1.0（标准化头文件，入门者必背）C++头文件1.0（标准化头文件，入门者必背）C++头文件1.0（标准化头文件，入门者必背）C++头文件1.0（标准化头文件，入门者必背）C++头文件1.0（标准化头文件，入门者必背）C++头文件1.0（标准化头文件，入门者必背）C++头文件1.0（标准化头文件，入门者必背）C++头文件1.0（标准化头文件，入门者必背）C++头文件1.0（标准化头文件，入门者必背）C++头文件1.0（标准化头文件，入门者必背）C++头文件1.0（标准化头文件，入门者必背）C++头文件1.0（标准化头文件，入门者必背）C++头文件1.0（标准化头文件，入门者必背）C++头文件1.0（标准化头文件，入门者必背）C++头文件1.0（标准化头文件，入门者必背）C++头文件1.0（标准化头文件，入门者必背）
MSM0G3507 板的测试程序
07-30
<项目介绍> - MSM0G3507 板的测试程序 - 不懂运行，下载完可以私聊问，可远程教学 该资源内项目源码是个人的毕设，代码都测试ok，都是运行成功后才上传资源，答辩评审平均分达到96分，放心下载使用！ 1、该资源内项目代码都经过测试运行成功，功能ok的情况下才上传的，请放心下载使用！ 2、本项目适合计算机相关专业(如计科、人工智能、通信工程、自动化、电子信息等)的在校学生、老师或者企业员工下载学习，也适合小白学习进阶，当然也可作为毕设项目、课程设计、作业、项目初期立项演示等。 3、如果基础还行，也可在此代码基础上进行修改，以实现其他功能，也可用于毕设、课设、作业等。 下载后请首先打开README.md文件（如有），仅供学习参考, 切勿用于商业用途。 --------
C++《舵机、超声波结合，实现走迷宫功能的Arduino小车程序》+源代码+文档说明
07-30
<项目介绍> - 将舵机、超声波结合，实现走迷宫功能的Arduino小车程序 - 不懂运行，下载完可以私聊问，可远程教学 该资源内项目源码是个人的毕设，代码都测试ok，都是运行成功后才上传资源，答辩评审平均分达到96分，放心下载使用！ 1、该资源内项目代码都经过测试运行成功，功能ok的情况下才上传的，请放心下载使用！ 2、本项目适合计算机相关专业(如计科、人工智能、通信工程、自动化、电子信息等)的在校学生、老师或者企业员工下载学习，也适合小白学习进阶，当然也可作为毕设项目、课程设计、作业、项目初期立项演示等。 3、如果基础还行，也可在此代码基础上进行修改，以实现其他功能，也可用于毕设、课设、作业等。 下载后请首先打开README.md文件（如有），仅供学习参考, 切勿用于商业用途。 --------
k8s-cert.sh
最新发布
07-30
k8s-cert.sh
SCI一区】淘金算法GRO-CNN-BiLSTM-Mutilhead-Attention多变量时序预测含源码 5642.zip
07-30
CSDN海神之光上传的全部代码均可运行，亲测可用，直接替换数据即可，适合小白； 1、代码压缩包内容 主函数：Main .m； 数据； 调用函数：其他m文件；无需运行 运行结果效果图； 2、代码运行版本 Matlab 2019b；若运行有误，根据提示修改；若不会，可私信博主； 3、运行操作步骤 步骤一：将所有文件放到Matlab的当前文件夹中； 步骤二：双击打开除Main.m的其他m文件； 步骤三：点击运行，等程序运行完得到结果； 4、仿真咨询 如需其他服务，可私信博主或扫描博主博客文章底部QQ名片； 4.1 CSDN博客或资源的完整代码提供 4.2 期刊或参考文献复现 4.3 Matlab程序定制 4.4 科研合作 智能优化算法-CNN-BiLSTM-Mutilhead-Attention回归预测系列程序定制或科研合作方向： 4.4.1 遗传算法GA/蚁群算法ACO-CNN-BiLSTM-Mutilhead-Attention回归预测 4.4.2 粒子群算法PSO/蛙跳算法SFLA-CNN-BiLSTM-Mutilhead-Attention回归预测 4.4.3 灰狼算法GWO/狼群算法WPA-CNN-BiLSTM-Mutilhead-Attention回归预测 4.4.4 鲸鱼算法WOA/麻雀算法SSA-CNN-BiLSTM-Mutilhead-Attention回归预测 4.4.5 萤火虫算法FA/差分算法DE-CNN-BiLSTM-Mutilhead-Attention回归预测
nexus-3.70.1-02-java11-unix.tar.gz
07-30
nexus-3.70.1-02-java11-unix.tar
PHP农产品防伪溯源系统
07-30
农产品防伪溯源程序。 该系统采用最简单易用的php+mysql进行搭建，拥完善的网站前后台，通过对每件产品生产线上的单品、二级包装、等各级包装赋予唯一的监管条码，在生产线上将此数据和经销商信息一起上传至服务器。市场稽查人员可以通过手持终端设备或者服务器网站两种方式对在终端店面销售的产品上的二维码进行防窜货稽查，，根据“一物一码”的特性，通过管理生产、销售追踪、包装关联、配送管理、终端查询来获取产品的真伪信息。并由此来判断产品是否窜货。并特别根据企业网站的特点开发出独具特色的栏目和功能。 平台环境：（源码）php+mysql
GFS分布式文件系统项目
05-19
GFS（Google File System）是谷歌公司开发的分布式文件系统，旨在提供高性能、可靠性和可扩展性。GFS最初是为支持谷歌的搜索引擎而开发的，后来成为了谷歌基础设施的一部分。GFS具有以下特点： 1. 大规模：GFS能够...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值