GFS分布式文件系统

最新推荐文章于 2024-08-20 16:48:22 发布
最新推荐文章于 2024-08-20 16:48:22 发布
阅读量352 收藏
点赞数
文章标签： 服务器 网络 linux
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/z20021111/article/details/127226433
版权

GlusterFS是什么？

  • Gluster是一个 开源的分布式文件系统。
  • 是一个C/S架构。
    • 由存储服务器、客户端以及NFS/Samba存储网关组成。
  • 没有元数据服务器组件，这有助于提升整个系统的性能，可靠性和稳定性。

文件系统定义

  • 负责实现数据存储方式，以什么格式保存在磁盘中的一个技术。

GlusterFS特点

扩展性和高性能

  • 分布式的特性

高可用性

  • 冗余、容灾的能力

全局统一命令空间

  • 将所有节点的命名空间整个统一命令空间。将整个系统的所有节点的存储容量组成一个大的虚拟存储池，供客户端访问。

弹性卷管理

  • 逻辑存储池可以在线进行增加和移除，不会导致业务中断。逻辑卷可以根据需求在线增长和缩减，并可以在多个节点中实现负载均衡。

基于标准协议

  • 按照什么协议进行传输（TCP/UDP），Gluster 存储服务支持 NFS、CIFS、HTTP、FTP、SMB 及 Gluster原生协议，完全与 POSIX 标准（可移植操作系统接口）兼容。

GlusterFS专业术语

Brick（块存储服务器）

  • 实际存储用户数据的服务器（相当于逻辑卷中的PE）

Volume（逻辑卷）

  • 一个逻辑卷是一组Brick的集合，卷是数据存储的逻辑设备。

  • 本地文件系统的“分区”

FUSE（用户空间的文件系统）

  • 用户的空间的文件系统（类别EXT4），这是一个”伪文件系统（就是虚拟的文件系统）“，用户端的交换模块。

VFS（虚拟端口）

  • 用户是提交请求给VFS，然后VFS交给FUSH，再交给GFS客户端，最后由客户端交给远程服务端进行存储。

Glusterd（服务）

  • 是运行再存储节点的进程（客户端运行的是gluster client），GFS使用过程中整个GFS之间的交换由Gluster client 和 glusterd 完成。

模块化堆栈式架构

  • GlusterFS 采用模块化、堆栈式的架构。
  • 通过对模块进行各种组合，即可实现复杂的功能。例如 Replicate 模块可实现 RAID1，Stripe 模块可实现 RAID0， 通过两者的组合可实现 RAID10 和 RAID01，同时获得更高的性能及可靠性。

GlusterFS构成

模块化推栈式架构

  • 模块化、推栈式的架构
  • 通过对模块的组合，实现复杂的功能

1、API： 应用程序编程接口

2、模块化： 每个模块可以提供不同的功能

3、推栈式： 同时启用多个模块，多个功能功能可以组合，实现复杂的功能

GlusterFS总流程

I/O cache ： I/O缓存
read ahead ： 内核文件预读
distribute/stripe： 分布式、条带化
Gige： 千兆网/千兆接口
TCP/IP： 网络协议
InfiniBand： 网络协议，与TCP/IP具有转发丢失数据包的特性，基于此通信协议可能导致通信变慢，而IB使用基于信任的，流程制的机制来保证连接的完整性。
RDMA： 负责数据传输，有一种数据传输协议，功能：为了解决传输过程中客户端与服务器端数据处理的延迟。
 

上半部分为客户端，中间为网络层，下班部分为服务端

  • 封装多核功能模块，组成推栈式的结构，来实现复杂的功能。
  • 然后以请求的方式与客户端进行交互，客户端与服务端进行交互，由于可能会存在系统兼容问题，需要通过posix来解决系统兼容性问题，让客户端的命令通过posix过滤后可以在服务端执行。

GFS的工作原理

①外来一个请求，例：用户端申请创建一个文件，客户端或应用程序通过GFS的挂载点访问数据。

②linux系统内核通过VFS的API收到请求并处理。

③VFS将数据递交给FUSE内核文件系统，fuse文件系统则是将数据通过/dev/fuse设备文件递交给GluseterFS client端。

④GlusterFS client端收到数据后，会根据配置文件的配置对数据进行处理。

⑤再通过网络，将数据发送给远程端的Gluster server，并将数据写入到服务器储存设备上。

⑥server再将数据转交给VFS虚拟文件系统转换，再由VFS进行CFS转存处理，最后交给EXT3文件系统，最后存储到磁盘中。
 

分布式gfs服务器存储

分布式GFS存储是依靠于弹性hash算法，通过对存储内容进行hash算法的运算，可以得到32位的整数，将32位整数平均划分到 分布式服务器中，也就是每一个brick对应一段整数范围。用户根据计算得出数字找到对应的brick块。

弹性HASH算法

弹性 HASH 算法是 Davies-Meyer 算法的具体实现，通过 HASH 算法可以得到一个 32 位的整数范围的 hash 值，
假设逻辑卷中有 N 个存储单位 Brick，则 32 位的整数范围将被划分为 N 个连续的子空间，每个空间对应一个 Brick。
当用户或应用程序访问某一个命名空间时，通过对该命名空间计算 HASH 值，根据该 HASH 值所对应的 32 位整数空间定位数据所在的 Brick。
 

弹性HASH算法的优点

  • 保证数据平均分布在每一个Brick中
  • 解决了对元数据服务器的依赖,进而解决了单点故障

GlusterFS的卷类型

分布式卷

  • 没有对文件进行分块处理
  • 通过扩展文件属性保存HASH值
  • 支持底层文件系统有EXT3、EXT4、ZFS、XFS等

特点：

  • 文件分布在不同的服务器，不具备冗余性
  • 更容易和廉价的扩展卷的大小。
  • 单点故障会造成数据丢失
  • 依赖底层的数据保护

条带卷

  • 根据偏移量将文件分成N块（N个条带节点），轮询的存储在每个Brick Server节点
  • 存储大文件时，性能尤为突出
  • 不具备冗余性，类似Raid0

特点

  • 数据被分割成更小块分布到块服务器群集中的不同条带区。
  • 分布减少了负载且更小的文件加速了存取的速度。
  • 没有数据冗余

复制卷

  • 同一文件保存一份或多份副本
  • 因为要保存副本，所以磁盘利用率较低
  • 若多个节点上的存储空间不一致，将按照木桶效应取最低点的容量作为该卷的总容量

 特点

  • 卷中所有的服务器均保存一个完整的副本
  • 卷的副本数量可由创建的时候决定，但是复制必须等于卷中Brick所包含的存储服务器数。
  • 至少由两块服务器或更多服务器
  • 具备冗余性

分布式条带卷

  • 兼顾分布式卷和条带卷的功能
  • 主要用于大文件访问处理
  • 至少最少需要4台服务器

分布式复制卷

  • 兼顾分布式卷和复制卷的功能
  • 用于需要冗余的情况

部署GlusterFS集群实验

集群环境

客户端192.168.200.12

node1 ：192.168.200.13

node2 ：192.168.200.14

node3 ：192.168.200.15

node4 ：192.168.200.16

首先，每台节点添加四块磁盘，大小随意


Node1节点：node1/192.168.200.13	  磁盘： /dev/sdb1			挂载点： /data/sdb1
								  /dev/sdc1					/data/sdc1
								  /dev/sdd1					/data/sdd1
								  /dev/sde1					/data/sde1
 
Node2节点：node2/192.168.200.14	  磁盘： /dev/sdb1			挂载点： /data/sdb1
								  /dev/sdc1					/data/sdc1
								  /dev/sdd1					/data/sdd1
								  /dev/sde1					/data/sde1
 
Node3节点：node3/192.168.200.15	  磁盘： /dev/sdb1			挂载点： /data/sdb1
								  /dev/sdc1					/data/sdc1
								  /dev/sdd1					/data/sdd1
								  /dev/sde1					/data/sde1
 
Node4节点：node4/192.168.200.16    磁盘： /dev/sdb1		挂载点： /data/sdb1
								   /dev/sdc1				/data/sdc1
								   /dev/sdd1				/data/sdd1
								   /dev/sde1				/data/sde1
 
=====客户端节点：192.168.200.12=====

关闭防火墙

每台机器均需要关闭

 

systemctl stop firewalld
setenforce 0
 

 
 

节点进行磁盘挂载，安装本地源
 

所有节点都需要做，这边以node1为例
 

------------------------编写自动分区脚本，并执行---------------------------
[root@zs ~] # vim /opt/fdisk.sh
 
#!/bin/bash
NEWDEV=`ls /dev/sd* | grep -o 'sd[b-z]' | uniq`
for VAR in $NEWDEV
do
   echo -e "n\np\n\n\n\nw\n" | fdisk /dev/$VAR &> /dev/null
   mkfs.xfs /dev/${VAR}"1" &> /dev/null
   mkdir -p /data/${VAR}"1" &> /dev/null
   echo "/dev/${VAR}"1" /data/${VAR}"1" xfs defaults 0 0" >> /etc/fstab
done
mount -a &> /dev/null
 
========》wq
 
[root@zs ~] # chmod +x /opt/fdisk.sh
[root@zs ~] # cd /opt/
[root@zs /opt] # ./fdisk.sh
 
-----------------------创建本地DNS-------------------------------
[root@zs /opt] # echo "192.168.200.13 node1" >> /etc/hosts
[root@zs /opt] # echo "192.168.200.14 node2" >> /etc/hosts
[root@zs /opt] # echo "192.168.200.15 node3" >> /etc/hosts
[root@zs /opt] # echo "192.168.200.16 node4" >> /etc/hosts
 
----------------------上传gfsrepo软件到/opt目录下
[root@zs /opt] # ls
fdisk.sh  rh
[root@zs /opt] # rz -E
rz waiting to receive.
[root@zs /opt] # ls
fdisk.sh  gfsrepo.zip  rh
[root@zs /opt] # unzip gfsrepo.zip 
 
----------------------编写创建本地源脚本，并执行------------------------
[root@zs opt]# vim /opt/gfs.sh
 
cd /etc/yum.repos.d/
mkdir repo.bak
mv *.repo repo.bak
 
echo '[glfs]
name=glfs
baseurl=file:///opt/gfsrepo
gpgcheck=0
enabled=1' > glfs.repo
 
[root@node1 opt]# chmod +x gfs.sh 
yum clean all && yum makecache
 
--------------------安装glusterd服务，并启动---------------------
[root@zs opt]# yum -y install glusterfs glusterfs-server glusterfs-fuse glusterfs-rdma
[root@zs opt]# systemctl start glusterd.service
[root@zs opt]# systemctl enable glusterd.service
[root@zs opt]# systemctl status glusterd.service

 

未完待续~ 

                

        

        

    

  


    

      

        

            

              
                
                  怕失眠
                
              
            

            

                关注
              
            

        

        

          
      

      









                



	

		

			

				
					
GFS 分布式文件系统

				
			

			

				

					kid00013的博客
				

				

					06-13
					
					1212
					
				

			

		

		

			
				
目录1.什么是GFS文件系统2.分布式文件系统的特点3.GFS术语4.gfs卷的分类4.1分布式卷4.2条带卷4.2复制卷4.4分布式条带卷4.5分布式复制卷4.6条带式复制卷4.7分布式条带复制卷5．GlusterFS 的工作流程6．弹性 HASH 算法7.部署 GlusterFS 群集7.1 准备环境7.2 编写磁盘分区脚本7.3 修改主机名，配置/etc/hosts文件7.4 安装GlusterFS7.5  添加节点到存储信任池中7.6 创建卷7.6.1 创建分布式卷 7.6.2 创建条带卷 7.6.

			
		

	



                

              
                



	

		

			

				
					
GFS文件系统

				
			

			

				

					weixin_33947521的博客
				

				

					04-16
					
					185
					
				

			

		

		

			
				
1.1 分布式文件系统
1.1.1 什么是分布式文件系统
　　相对于本机端的文件系统而言，分布式文件系统（英语：Distributed file system,DFS），或是网络文件系统（英语：Network File System），是一种允许文件通过网络在多台主机上分享的文件系统，可让多机器上的多用户分享文件和存储空间。
　　在这样的文件系统中，客户端并非直...

			
		

	



                


  
              

                


	

		

			

				
					
GFS分布式文件系统（分布式文件系统与企业级应用）

					
最新发布

				
			

			

				

					2401_85084312的博客
				

				

					08-20
					
					794
					
				

			

		

		

			
				
infinityBand：无线带宽技术；低延迟，高带宽，使用网络连接起来，但不再采用tcp、udp协议（因为绕过了操作系统的内核，直接让server端与客户端建立连接）GlusterFS是Scale-Out存储解决方案Gluster的核心，它是一个开源的分布式文件系统，具有强大的横向扩展能力，通过扩展能够支持数PB存储容量和处理数千客户端。GlusterFS借助TCP/IP或InfiniBandRDMA网络将物理分布的存储资源聚集在一起，使用单一全局命名空间来管理数据。1：扩展性和高性能。

			
		

	





	

		

			

				
					
分布式文件系统

				
			

			

				

					shibingbo1986的专栏
				

				

					03-27
					
					555
					
				

			

		

		

			
				
分布式文件系统 Distributed File Systems 　　分布式文件系统的设计基于客户机/服务器模式。一个典型的网络可能包括多个供多用户访问的服务器。另外，对等特性允许一些系统扮演客户机和服务器的双重角色。例如，用户可以“发表”一个允许其他客户机访问的目录，一旦被访问，这个目录对客户机来说就象使用本地驱动器一样，下面是三个基本的分布式文件系统。　　网络文件系统(NFS) 最早由Sun微

			
		

	



		

			
		



	

		

			

				
					
GlusterFS 分布式文件系统

				
			

			

				

					不要因为走的太远而忘了为什么出发
				

				

					11-16
					
					2539
					
				

			

		

		

			
				
目录引言一、文件系统简介1. 组成2. 作用3. 文件系统的挂载使用二、GFS 分布式文件系统概述1. GFS 简介2. GFS 的特点3. GFS 专业术语4. 模块化堆栈式架构5. GFS 工作流程6. 各服务器详解三、GFS 卷类型1. 分布式卷（Distribute volume）1.2 分布式卷示例原理1.3 分布式卷特点1.4 创建分布式卷2. 条带卷 （Stripe volume）2.1 条带卷示例原理2.2 条带卷特点2.3创建条带卷3. 复制卷（Replica volume）3.1 复制卷

			
		

	





	

		

			

				
					
[转]GFS架构分析

				
			

			

				

					silentime的专栏
				

				

					10-20
					
					309
					
				

			

		

		

			
				
原文地址：http://www.nosqlnotes.net/archives/237
 



Google文件系统（Google File System，GFS）是构建在廉价的服务器之上的大型分布式系统。它将服务器故障视为正常现象，通过软件的方式自动容错，在保证系统可靠性和可用性的同时，大大减少了系统的成本。
GFS是Google云存储的基石，其它存储系统，如Google Bigt...

			
		

	





	

		

			

				
					
GFS分布式文件系统实验包

				
			

			

				

					04-08
				

			

		

		

			
				
**GFS分布式文件系统实验包**  GFS，全称为Google File System，是Google开发的一款分布式文件系统，主要用于处理大规模的数据存储和处理任务。这个实验包是针对GFS的一个学习资源，旨在帮助用户理解和掌握分布式...

			
		

	





	

		

			

				
					
GlusterFS_分布式文件系统

				
			

			

				

					Wsxyi的博客
				

				

					05-11
					
					884
					
				

			

		

		

			
				
GFS分布式文件系统一.概述1）文件系统组成(ext3,ext4)2）文件系统FS作用3）文件系统FS 的挂载使用4) 分布式文件系统(GFS)组成5)分布式文件系统(GFS)特点6）分布式文件系统(GFS)专业术语二.模块化堆栈架构模块部分：三.GFS工作原理
一.概述

GlusterFS:开源分布式文件系统，无元数据服务器
FS：文件系统

1）文件系统组成(ext3,ext4)

1.文件系统的接口(API)
2.对对象管理的软件集合
3.对象及属性

2）文件系统FS作用
 对用户建立文件，存入，

			
		

	





	

		

			

				
					
GFS 分布式文件系统简述与Gluster群集部署

				
			

			

				

					weixin_47219725的博客
				

				

					09-15
					
					824
					
				

			

		

		

			
				
一、GFS 概述
1.1 Gluster简介

开源的分布式文件系统
由存储服务器、客户端以及NFS/Samba存储网管组成
无元数据服务器
GlusterFS特点
扩展性和高性能
高可用性
全局统一命名空间
弹性卷管理
基于标准协议

1.2 Gluster常用术语

Brick:GFS中的存储单元，通过是一个受信存储池中的服务器的一个导出目录。可以通过主机名和目录名来标识，如’SERVER:EXPORT’
Volume：卷
FUSE：内核文件系统，Filesystem Userspace是一个可加载的内

			
		

	





	

		

			

				
					
GFS分布式 文件系统

				
			

			

				

					mikechen1的博客
				

				

					04-08
					
					1167
					
				

			

		

		

			
				
开源的分布式文件系统，由存储服务器、客户端以及NFS/Samba存储网关组成，无原数据服务器具有扩展性和高性能，高可用性有（冗余、容灾），全局统一命名空间，弹性卷管理，基于标准协议，通过多和互联网的存储节点进行冗余，以确保数据的可用性和一致性。

			
		

	





	

		

			

				
					
深入了解GFS分布式文件系统

				
			

			

				

					CN_LiTianpeng的博客
				

				

					10-27
					
					1347
					
				

			

		

		

			
				
GlusterFS简介GlusterFS的卷类型1.分布式卷2.条带卷3. 复制卷：4.分布式条带卷：5.分布式复制卷：
GlusterFS简介

开源的分布式文件系统
由存储服务器、客户端以及NFS/Samba存储网关组成
无元数据服务器



GlusterFS 特点：
♢ 扩展性和高性能；
♢ 高可用性；
♢ 全局统一命名空间；
♢ 弹性卷管理；
♢ 基于标准协议



模块化堆栈架构：**
♢ 模块化，堆栈式结构；
♢通过对模块的组合，实现复杂的功能；






CentOS6.0以下使用的是E.

			
		

	





	

		

			

				
					
GFS分布式文件系统项目

				
			

			

				

					05-19
				

			

		

		

			
				
GFS（Google File System）是谷歌公司开发的分布式文件系统，旨在提供高性能、可靠性和可扩展性。GFS最初是为支持谷歌的搜索引擎而开发的，后来成为了谷歌基础设施的一部分。GFS具有以下特点：  1. 大规模：GFS能够...

			
		

	



              




          




        



    





    



      

      

        
      

      





	

		评论	
	

	
	




  

    

      添加红包
      
    

    

      

        
        

          
          
        

        
请填写红包祝福语或标题

      

      

        
        

          
          个
        

        
红包个数最小为10个

      

      

        
        

          
          元
        

        
红包金额最低5元

      

      

        
        

          当前余额3.43元
          前往充值 >
        

      

      

        

          需支付：10.00元
        

        
        
      

    

  





  

    
    
  

  

    
    
  








  

    

      

        

          

            
            
成就一亿技术人!

          

          

        

        

          

          

            领取后你会自动成为博主和红包主的粉丝
            规则
          

        

      

      

        

          

            
              
            
            

              
hope_wisdom
 发出的红包
            

          

        

        

          

          

          

        

      

    

    

  



      
      

      
实付元

      
使用余额支付

      

        

          

            
            点击重新获取
          

        

        
扫码支付

      

      

        
          
            
          
          
        
      

      

        
        钱包余额
          0
          

            
            

              

                
抵扣说明：

                
 1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
 2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

              

            

          

      

      余额充值