GFS分布式文件系统

最新推荐文章于 2024-04-09 16:38:38 发布
最新推荐文章于 2024-04-09 16:38:38 发布
阅读量320 收藏 2
点赞数 1
文章标签： 服务器 数据库 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/manyulanlanlu/article/details/132823370
版权

本章结构

1、GFS概述

2、GFS特点

3、GFS术语

4、GFS工作原理

5、GFS的卷类型

6、部署集群环境

7、创建卷，部署客户端，测试文件系统

8、其他维护命令

一、GFS概述

GlusterFS 是一个开源的分布式文件系统。（文件系统：负责让数据用什么格式保存在磁盘中的一个技术点）

由存储服务器、客户端以及NFS/Samba 存储网关（可选，根据需要选择使用）组成。

无元数据服务器（元数据服务器就是保存数据的地方）。

扩展存储容量，提高性能，并通过多个互联网络的存储节点的数据进行冗余，确保数据的可用性和一致性。

二、GFS特点

1、扩展性和高性能（分布式的特点）

2、高可用性（冗余的特点）

3、全局统一命名空间

4、弹性卷管理（raid）

5、基于标准协议

三、GFS术语（Brick,Volume,FUSE,VFS,Glusterd）

1、Brick(块存储服务器)：实际存储用户数据的服务器（相当于逻辑卷中的PE）。

2、Volume(逻辑卷)：一个逻辑卷是一组Brick的集合，卷是数据存储的逻辑设备。

3、FUSE(用户空间的文件系统)：用户的空间的文件系统（类似EXT4）。

4、VFS(虚拟接口)：用户提交请求给VFS，然后VFS交给FUSE，再交给GFS客户端，最后由客户端交给服务端进行存储。

5、Glusterd(服务)：是运行再存储节点的进程（客户端运行的是gluster client）

GFS使用过程中整个GFS之间的交换由gluster client和gluster完成。

四、GFS工作原理

GlusterFS 的工作流程
（1）客户端或应用程序通过 GlusterFS 的挂载点访问数据。
（2）linux系统内核通过 VFS API 收到请求并处理。
（3）VFS 将数据递交给 FUSE 内核文件系统，并向系统注册一个实际的文件系统 FUSE，而 FUSE 文件系统则是将数据通过 /dev/fuse 设备文件递交给了 GlusterFS client 端。可以将 FUSE 文件系统理解为一个代理。
（4）GlusterFS client 收到数据后，client 根据配置文件的配置对数据进行处理。
（5）经过 GlusterFS client 处理后，通过网络将数据传递至远端的 GlusterFS Server，并且将数据写入到服务器存储设备上。

弹性 HASH 算法

弹性 HASH 算法是 Davies-Meyer 算法的具体实现，通过 HASH 算法可以得到一个 32 位的整数范围的 hash 值，
假设逻辑卷中有 N 个存储单位 Brick，则 32 位的整数范围将被划分为 N 个连续的子空间，每个空间对应一个 Brick。
当用户或应用程序访问某一个命名空间时，通过对该命名空间计算 HASH 值，根据该 HASH 值所对应的 32 位整数空间定位数据所在的 Brick。

#弹性 HASH 算法的优点：

保证数据平均分布在每一个 Brick 中。
解决了对元数据服务器的依赖，进而解决了单点故障以及访问瓶颈。

五、GlusterFS的卷类型

有七种

分布式卷  条带卷  复制卷  分布式条带卷  分布式复制卷  条带复制卷  分布式条带复制卷

一般讨论前五个

1、分布式卷

没有对文件进行分块处理  通过扩展文件属性保存HASH值  文件只能保存在一个server中    一个卷坏了会导致数据缺失

特点：①，文件分布在不同的服务器，不具备冗余性。

②，更容易并且廉价的扩展卷的大小

③，单点故障会造成数据丢失

④，依赖底层的数据保护

创建命令：

#创建一个名为dis-volume的分布式卷，文件将根据HASH分布在server1:/dir1、server2:/dir2和server3:/dir3中

gluster volume create dis-volume server1:/dir1 server2:/dir2 server3:/dir3

2、条带卷

根据偏移量将文件分为N块(N个条带节点)，轮询存储在每个Brick Server节点

存储大文件的性能突出  不具备冗余性，类似于Raid0

特点：数据被分割成更小块分布到块服务器群中的不同条带区

#创建了一个名为stripe-volume的条带卷，文件将被分块轮询的存储在Server1:/dir1和Server2:/dir2两个Brick中

gluster volume create stripe-volume stripe 2 transport tcp server1:/dir1 server2:/dir2

3、复制卷

同一文件保存一份或多份副本，因为要保存副本，所以磁盘利用率低。

若多个节点上的存储空间不一致，将按照木桶效应取最低节点的容量作为该卷的总容量。

特点：①，卷中所有的服务器均保存一个完整的版本

②，卷的副本数量可由客户创建时决定，但是复制必须等于卷中Brick所包含的存储服务器数

③，至少由两个服务器

④，具备冗余性

#创建名为rep-volume的复制卷，文件将同时存储两个副本，分别在Server1:/dir1和Server2:/dir2两个Brick中

gluster volume create rep-volume replica 2 transport tcp server1:/dir1 server2:/dir2

                                                                                                                4、分布式条带卷

Brick Server 数量是条带数（数据块分布的 Brick 数量）的倍数，兼具分布式卷和条带卷的特点。主要用于大文件访问处理，至少需要4台服务器

创建卷时，存储服务器的数量如果等于条带或复制数，那么创建的是条带卷或者复制卷；如果存储服务器的数量是条带或复制数的 2 倍甚至更多，那么将创建的是分布式条带卷或分布式复制卷。

创建命令:

#创建一个名为dis-stripe的分布式条带卷，配置分布式的条带卷时，卷中Brick所包含的存储服务器数必须是条带数的倍数（>=2倍）。Brick 的数量是 4（Server1:/dir1、Server2:/dir2、Server3:/dir3 和 Server4:/dir4），条带数为 2（stripe 2）

gluster volume create dis-stripe stripe 2 transport tcp server1:/dir1 server2:/dir2 server3:/dir3 server4:/dir4

5、分布式复制卷

Brick Server 数量是镜像数（数据副本数量）的倍数，兼具分布式卷和复制卷的特点。主要用于需要冗余的情况下。

创建命令:

#创建一个名为dis-rep的分布式复制卷，配置分布式的复制卷时，卷中Brick所包含的存储服务器数必须是复制数的倍数（>=2倍）。Brick 的数量是 4（Server1:/dir1、Server2:/dir2、Server3:/dir3 和 Server4:/dir4），复制数为 2（replica 2）

gluster volume create dis-rep replica 2 transport tcp server1:/dir1 server2:/dir2 server3:/dir3 server4:/dir4

总结：GFS卷类型管理

分布式卷、条带卷、复制卷、分布式条带卷、分布式复制卷

1、分布式卷:以文件为单位来通过hash算法在各个Brick中，不具备冗余能力。

2、条带卷:把文件进行分块，轮询的分布在各个Brick中，不具备冗余能力

3、复制卷:把文件在各个Brick中做存储，具备冗余能力

4、分布式条带卷:不具备冗余能力，至少需要4个Brick  Brick>=条代数的2倍                                  一个Brick就是一台主机             

5、具备冗余能力，至少要4个Brick   Brick数量>=副本数的2倍

六、部署GlusterFS集群实验

Node1节点：node1/192.168.88.10          磁盘：/dev/sdb1            挂载点：/data/sdb1
                                                                            /dev/sdc1                           /data/sdc1
                                                                            /dev/sdd1                          /data/sdd1
                                                                            /dev/sde1                          /data/sde1

Node2节点：node2/192.168.88.20          磁盘：/dev/sdb1            挂载点：/data/sdb1
                                                                            /dev/sdc1                          /data/sdc1
                                                                            /dev/sdd1                         /data/sdd1
                                                                            /dev/sde1                        /data/sde1

Node3节点：node3/192.168.88.30          磁盘：/dev/sdb1            挂载点：/data/sdb1
                                                                            /dev/sdc1                          /data/sdc1
                                                                          /dev/sdd1                            /data/sdd1
                                                                          /dev/sde1                            /data/sde1

Node4节点：node4/192.168.88.40          磁盘：/dev/sdb1            挂载点：/data/sdb1
                                                                          /dev/sdc1                            /data/sdc1
                                                                          /dev/sdd1                            /data/sdd1
                                                                         /dev/sde1                            /data/sde1

客户端节点：192.168.88.50

1、

关闭防火墙及安全机制并改名

在每个Node节点（服务器）新建四个盘并重启服务器

2、磁盘分区，并挂载

3．修改主机名，配置/etc/hosts文件

主机名之前已经修改过了

创建本地DNS

安装、启动GlusterFS（所有node节点上操作）

将gfsrepo 软件上传到/opt目录下并解压

编写创建本地源脚本，并执行

安装glusterd服务，并启动

添加节点到存储信任池中（在 node1 节点上操作）

#只要在一台Node节点上添加其它节点即可

gluster peer probe node1
gluster peer probe node2
gluster peer probe node3
gluster peer probe node4

在每个Node节点上查看群集状态
gluster peer status

========根据以下规划创建卷=========
卷名称 				卷类型				Brick
dis-volume			分布式卷			node1(/data/sdb1)、node2(/data/sdb1)
stripe-volume		条带卷			node1(/data/sdc1)、node2(/data/sdc1)
rep-volume			复制卷			node3(/data/sdb1)、node4(/data/sdb1)
dis-stripe			分布式条带卷		node1(/data/sdd1)、node2(/data/sdd1)、node3(/data/sdd1)、node4(/data/sdd1)
dis-rep				分布式复制卷		node1(/data/sde1)、node2(/data/sde1)、node3(/data/sde1)、node4(/data/sde1)

创建分布式卷

#创建分布式卷，没有指定类型，默认创建的是分布式卷

#查看卷列表

#启动新建分布式卷

#查看创建分布式卷信息

创建条带卷

#指定类型为 stripe，数值为 2，且后面跟了 2 个 Brick Server，所以创建的是条带卷

创建复制卷

#指定类型为 replica，数值为 2，且后面跟了 2 个 Brick Server，所以创建的是复制卷

4、创建分布式条带卷
#指定类型为 stripe，数值为 2，而且后面跟了 4 个 Brick Server，是 2 的两倍，所以创建的是分布式条带卷

5．创建分布式复制卷
指定类型为 replica，数值为 2，而且后面跟了 4 个 Brick Server，是 2 的两倍，所以创建的是分布式复制卷

查看当前所有卷的列表
gluster volume list

部署 Gluster 客户端

1．安装客户端软件  (前面已经做过了)

2．创建挂载目录

3．配置 /etc/hosts 文件

echo "192.168.88.10 node1" >> /etc/hosts
echo "192.168.88.20 node2" >> /etc/hosts
echo "192.168.88.30 node3" >> /etc/hosts
echo "192.168.88.40 node4" >> /etc/hosts


4．挂载 Gluster 文件系统

#临时挂载

测试 Gluster 文件系统

1．卷中写入文件，客户端操作

cd /opt
dd if=/dev/zero of=/opt/demo1.log bs=1M count=40
dd if=/dev/zero of=/opt/demo2.log bs=1M count=40
dd if=/dev/zero of=/opt/demo3.log bs=1M count=40
dd if=/dev/zero of=/opt/demo4.log bs=1M count=40
dd if=/dev/zero of=/opt/demo5.log bs=1M count=40

创建文件夹

2．查看文件分布

#查看分布式文件分布

[root@node1 ~]# ls -lh /data/sdb1                    #数据没有被分片
总用量 160M
-rw-r--r-- 2 root root 40M 12月 18 14:50 demo1.log
-rw-r--r-- 2 root root 40M 12月 18 14:50 demo2.log
-rw-r--r-- 2 root root 40M 12月 18 14:50 demo3.log
-rw-r--r-- 2 root root 40M 12月 18 14:50 demo4.log
[root@node2 ~]# ll -h /data/sdb1
总用量 40M
-rw-r--r-- 2 root root 40M 12月 18 14:50 demo5.log

#查看条带卷文件分布
[root@node1 ~]# ls -lh /data/sdc1                    #数据被分片50% 没副本 没冗余
总用量 101M
-rw-r--r-- 2 root root 20M 12月 18 14:51 demo1.log
-rw-r--r-- 2 root root 20M 12月 18 14:51 demo2.log
-rw-r--r-- 2 root root 20M 12月 18 14:51 demo3.log
-rw-r--r-- 2 root root 20M 12月 18 14:51 demo4.log
-rw-r--r-- 2 root root 20M 12月 18 14:51 demo5.log

[root@node2 ~]# ll -h /data/sdc1                    #数据被分片50% 没副本 没冗余
总用量 101M
-rw-r--r-- 2 root root 20M 12月 18 14:51 demo1.log
-rw-r--r-- 2 root root 20M 12月 18 14:51 demo2.log
-rw-r--r-- 2 root root 20M 12月 18 14:51 demo3.log
-rw-r--r-- 2 root root 20M 12月 18 14:51 demo4.log
-rw-r--r-- 2 root root 20M 12月 18 14:51 demo5.log

#查看复制卷分布
[root@node3 ~]# ll -h /data/sdb1                    #数据没有被分片 有副本 有冗余     
总用量 201M
-rw-r--r-- 2 root root 40M 12月 18 14:51 demo1.log
-rw-r--r-- 2 root root 40M 12月 18 14:51 demo2.log
-rw-r--r-- 2 root root 40M 12月 18 14:51 demo3.log
-rw-r--r-- 2 root root 40M 12月 18 14:51 demo4.log
-rw-r--r-- 2 root root 40M 12月 18 14:51 demo5.log

[root@node4 ~]# ll -h /data/sdb1                    #数据没有被分片 有副本 有冗余
总用量 201M
-rw-r--r-- 2 root root 40M 12月 18 14:51 demo1.log
-rw-r--r-- 2 root root 40M 12月 18 14:51 demo2.log
-rw-r--r-- 2 root root 40M 12月 18 14:51 demo3.log
-rw-r--r-- 2 root root 40M 12月 18 14:51 demo4.log
-rw-r--r-- 2 root root 40M 12月 18 14:51 demo5.log

#查看分布式条带卷分布
[root@node1 ~]# ll -h /data/sdd1                    #数据被分片50% 没副本 没冗余
总用量 81M
-rw-r--r-- 2 root root 20M 12月 18 14:51 demo1.log
-rw-r--r-- 2 root root 20M 12月 18 14:51 demo2.log
-rw-r--r-- 2 root root 20M 12月 18 14:51 demo3.log
-rw-r--r-- 2 root root 20M 12月 18 14:51 demo4.log

[root@node2 ~]# ll -h /data/sdd1
总用量 81M
-rw-r--r-- 2 root root 20M 12月 18 14:51 demo1.log
-rw-r--r-- 2 root root 20M 12月 18 14:51 demo2.log
-rw-r--r-- 2 root root 20M 12月 18 14:51 demo3.log
-rw-r--r-- 2 root root 20M 12月 18 14:51 demo4.log

[root@node3 ~]# ll -h /data/sdd1
总用量 21M
-rw-r--r-- 2 root root 20M 12月 18 14:51 demo5.log

[root@node4 ~]# ll -h /data/sdd1
总用量 21M
-rw-r--r-- 2 root root 20M 12月 18 14:51 demo5.log

#查看分布式复制卷分布                                #数据没有被分片 有副本 有冗余
[root@node1 ~]# ll -h /data/sde1
总用量 161M
-rw-r--r-- 2 root root 40M 12月 18 14:52 demo1.log
-rw-r--r-- 2 root root 40M 12月 18 14:52 demo2.log
-rw-r--r-- 2 root root 40M 12月 18 14:52 demo3.log
-rw-r--r-- 2 root root 40M 12月 18 14:52 demo4.log

[root@node2 ~]# ll -h /data/sde1
总用量 161M
-rw-r--r-- 2 root root 40M 12月 18 14:52 demo1.log
-rw-r--r-- 2 root root 40M 12月 18 14:52 demo2.log
-rw-r--r-- 2 root root 40M 12月 18 14:52 demo3.log
-rw-r--r-- 2 root root 40M 12月 18 14:52 demo4.log

[root@node3 ~]# ll -h /data/sde1
总用量 41M
-rw-r--r-- 2 root root 40M 12月 18 14:52 demo5.log
[root@node3 ~]# 

[root@node4 ~]# ll -h /data/sde1
总用量 41M
-rw-r--r-- 2 root root 40M 12月 18 14:52 demo5.log

破坏性测试

#挂起 node2 节点或者关闭glusterd服务来模拟故障
[root@node2 ~]# systemctl stop glusterd.service

#在客户端上查看文件是否正常

#分布式卷数据查看
[root@localhost test]# ll /test/dis/        #在客户机上发现少了demo5.log文件，这个是在node2上的
总用量 163840
-rw-r--r-- 1 root root 41943040 12月 18 14:50 demo1.log
-rw-r--r-- 1 root root 41943040 12月 18 14:50 demo2.log
-rw-r--r-- 1 root root 41943040 12月 18 14:50 demo3.log
-rw-r--r-- 1 root root 41943040 12月 18 14:50 demo4.log

#条带卷
[root@localhost test]# cd /test/stripe/        #无法访问，条带卷不具备冗余性
[root@localhost stripe]# ll
总用量 0

#分布式条带卷
[root@localhost test]# ll /test/dis_stripe/        #无法访问，分布条带卷不具备冗余性
总用量 40960
-rw-r--r-- 1 root root 41943040 12月 18 14:51 demo5.log

#分布式复制卷
[root@localhost test]# ll /test/dis_rep/    #可以访问，分布式复制卷具备冗余性
总用量 204800
-rw-r--r-- 1 root root 41943040 12月 18 14:52 demo1.log
-rw-r--r-- 1 root root 41943040 12月 18 14:52 demo2.log
-rw-r--r-- 1 root root 41943040 12月 18 14:52 demo3.log
-rw-r--r-- 1 root root 41943040 12月 18 14:52 demo4.log
-rw-r--r-- 1 root root 41943040 12月 18 14:52 demo5.log

#挂起 node2 和 node4 节点，在客户端上查看文件是否正常

#测试复制卷是否正常

[root@localhost rep]# ls -l /test/rep/        #在客户机上测试正常 数据有
总用量 204800
-rw-r--r-- 1 root root 41943040 12月 18 14:51 demo1.log
-rw-r--r-- 1 root root 41943040 12月 18 14:51 demo2.log
-rw-r--r-- 1 root root 41943040 12月 18 14:51 demo3.log
-rw-r--r-- 1 root root 41943040 12月 18 14:51 demo4.log
-rw-r--r-- 1 root root 41943040 12月 18 14:51 demo5.log

#测试分布式条卷是否正常
[root@localhost dis_stripe]# ll /test/dis_stripe/        #在客户机上测试没有数据 
总用量 0

#测试分布式复制卷是否正常
[root@localhost dis_rep]# ll /test/dis_rep/        #在客户机上测试正常 有数据
总用量 204800
-rw-r--r-- 1 root root 41943040 12月 18 14:52 demo1.log
-rw-r--r-- 1 root root 41943040 12月 18 14:52 demo2.log
-rw-r--r-- 1 root root 41943040 12月 18 14:52 demo3.log
-rw-r--r-- 1 root root 41943040 12月 18 14:52 demo4.log
-rw-r--r-- 1 root root 41943040 12月 18 14:52 demo5.log

manyulanlanlu
关注
  • 1
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
GFS分布式文件系统、结合实验分析各种存储卷的特点。深入刨析分布式存储的方式。
wulimingde的博客
10-30 742
GFS分布式文件系统一、GFS（GlusterFS）概述1、GFS简介2、GFS的特点3、GFS术语4、GFS用到的算法二、GlusterFS的卷类型分1、布式卷2、条带卷3、复制卷4、分布式条带卷5、分布式复制卷三、实例搭建GFS实验1、实验目的2、实验拓扑图3、实验详细配置过程1）同步所有存储服务器的时间、关闭selinux、关闭防火墙2) 配置所有存储服务器的主机名和/etc/hosts文件3）创建、格式化、挂载所有存储服务器新增的4块磁盘 一、GFS（GlusterFS）概述 1、GFS简介 开源
深入探索Google文件系统（GFS）：架构、客户端交互与系统实践
最新发布
qq_52010229的博客
05-01 796
本文全面探讨了GFS的设计理念、架构细节、客户端交互模式以及其在解决实际问题中的表现，从而揭示其如何优雅地处理大规模数据集并支持高效的数据操作。通过学习GFS的设计和实践，我们可以获得对现代大规模分布式系统的深刻理解，这对于任何需要处理大数据的系统设计都是极其宝贵的经验。这些设计目标导致了GFS特有的架构选择，特别是其对数据的分片（sharding）、复制和延迟一致性的处理。客户端与GFS的交互主要包括文件的读取和写入操作，这些操作体现了GFS设计的效率和复杂性。
GlusterFS 分布式文件系统
不要因为走的太远而忘了为什么出发
11-16 2498
目录引言一、文件系统简介1. 组成2. 作用3. 文件系统的挂载使用二、GFS 分布式文件系统概述1. GFS 简介2. GFS 的特点3. GFS 专业术语4. 模块化堆栈式架构5. GFS 工作流程6. 各服务器详解三、GFS 卷类型1. 分布式卷（Distribute volume）1.2 分布式卷示例原理1.3 分布式卷特点1.4 创建分布式卷2. 条带卷 （Stripe volume）2.1 条带卷示例原理2.2 条带卷特点2.3创建条带卷3. 复制卷（Replica volume）3.1 复制卷
GFS
wendy_keeping的博客
07-12 613
1.GFS的架构 先来对这张图，也就是读取流程做一下解释。 <1>client在把应用程序要读写的文件根据文件名和偏移量，根据chunk的大小转换成文件的chunk index； <2>client将filename和chunk index发送给master，master通过查找，返回相应的chunk handle（chunk标识/chunk句柄）和位置； <3>client使用filename和chunk hand
GFS分布式文件系统实验包
04-08
**GFS分布式文件系统实验包** GFS，全称为Google File System，是Google开发的一款分布式文件系统，主要用于处理大规模的数据存储和处理任务。这个实验包是针对GFS的一个学习资源，旨在帮助用户理解和掌握分布式...
搭建GFS分布式文件系统
12-15
一、GlusterFS概述； 二、GlusterFS存储架构； 三、GlusterFS工作原理； 四、GlusterFS卷的类型； 五、案例：搭建Gluster分布式文件系统
第四十八章：GFS分布式文件系统1
08-08
【第四十八章：GFS分布式文件系统1】 GlusterFS是一个开源的分布式文件系统，源自Google File System（GFS），但并非直接等同。它利用TCP/IP网络将存储资源分散在多个网络节点，通过聚合为用户提供单一的统一访问点...
gfs系统缺点浅析
05-23
浅析GFS系统缺陷
大点干！早点散----------深入剖析GFS分布式文件系统
weixin_47219935的博客
09-15 1300
文章目录一、GlusterFS（GFS）介绍1、GlusterFS2、GlusterFS特点3、常用术语4、GFS的结构5、弹性HASH算法6、GlusterFS工作原理二、GlusterFS的卷类型1、分布式卷2、条带卷3、复制卷4、分布式条带卷5、分布式复制卷6、条带复制卷7、分布式条带复制卷三、GFS平台部署 一、GlusterFS（GFS）介绍 1、GlusterFS Gluster File System，开源的分布式文件系统，是Scale存储的核心,能够处理千数量级的客户端.在传统的解决 方案中
【Google三驾马车系列】GFS原理总结
Tong_jy的博客
10-13 2886
总结梳理Google File System论文中介绍的框架原理
GFS分布式 文件系统
mikechen1的博客
04-08 830
开源的分布式文件系统，由存储服务器、客户端以及NFS/Samba存储网关组成，无原数据服务器具有扩展性和高性能，高可用性有（冗余、容灾），全局统一命名空间，弹性卷管理，基于标准协议，通过多和互联网的存储节点进行冗余，以确保数据的可用性和一致性。
GFS分布式文件系统概述以及集群部署
rmh0713的博客
04-09 953
①GlusterFS是一个开源的分布式文件系统。②由存储服务器、客户端以及NFS/Samba存储网关（可选，根据需要选择使用）组成。③没有元数据服务器组件，这有助于提升整个系统的性能、可靠性和稳定性。传统的分布式文件系统大多通过元服务器来存储元数据，元数据包含存储节点上的目录信息、目录结构等。这样的设计在浏览目录时效率高，但是也存在一些缺陷，例如单点故障。一旦元数据服务器出现故障，即使节点具备再高的冗余性，整个存储系统也将崩溃。
谷歌文件系统GFS理解
SwjtuPC的博客
03-22 6477
前言： GFS是由Google设计并实现的一个可扩展的分布式文件系统，它适用于大型分布式计算密集型应用程序。与一般分布式文件系统具有诸多相同点，如性能、可伸缩性、可靠性和可用性，它的设计由Google应用工作负载和技术环境驱动。提出了一些不同的设计观点： 1.系统是由许多经常会故障的廉价商品组件组成，所以必须要经常对它进行监控，以及在例行基础上进行检测、容错，以及故障组件的恢复 2.系统存储了一定量的大文件。我们预计有数百万个文件，每个一般在100MB或更大。数GB的文件是很常见的情况，应该被有效的管理。小
浅谈Google分布式文件系统（GFS）
爱逛街的老鼠的博客
02-11 4660
前提 GFS是一个面向大规模的数据密集型应用的、可扩展的分布式文件系统。即便是将GFS运行在十分廉价的设备上，它也能提供十分强大的容错能力，为大量的客户端提供高性能服务的服务。其设计是为了解决谷歌内部应用的负载情况以及技术环境为基础。 GFS诞生的初衷是为了满足谷歌快速增长的数据处理需求。GFS跟传统的分布式文件系统有着相同的设计目标（性能、可扩展性、可靠性以及可用性等等）。GFS与早期的文件系统的设想都有明显的不同，它使用了一种完全不同的设计思想。其主要包括以下两点 组件失效被认为是常态事件，而不是意外
GFS（GlusterFS）分布式文件系统（工作原理、部署步骤详解）
Chenwei的博文
03-02 6102
GFS（GlusterFS）分布式文件系统（工作原理、部署步骤详解） @toc 一、GlusterFS 概述 1.1 GlusterFS 简介 GlusterFS 是一个开源的分布式文件系统，主要由存储服务器（BrickServer）、客户端及 NFS/Samba 存储网关（可选， 根据需要选择使用）组成。GlusterFS同时也是Scale-Out（横向扩展）存储解决方案Gluster的核心，在存储数据方面具有强大的横向扩展能力，通过扩展能够支持数PB存储容量和处理数千客户端。 GlusterFS借助TC
《The Google File System》论文阅读笔记——GFS设计原理
weixin_30622181的博客
01-11 210
一、设计预期 设计预期往往针对系统的应用场景，是系统在不同选择间做balance的重要依据，对于理解GFS在系统设计时为何做出现有的决策至关重要。所以我们应重点关注： 失效是常态 主要针对大文件 读操作：大规模流式读取、小规模随机读取 写操作：大规模顺序追加写，写入后很少修改 高效明确定义的并行追加写 稳定高效地网络带宽 二、整体设计 1、...
GFS分布式文件系统项目
05-19
GFS（Google File System）是谷歌公司开发的分布式文件系统，旨在提供高性能、可靠性和可扩展性。GFS最初是为支持谷歌的搜索引擎而开发的，后来成为了谷歌基础设施的一部分。GFS具有以下特点： 1. 大规模：GFS能够...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值