linux运维—MFS（文件系统）

最新推荐文章于 2024-08-26 16:32:21 发布
最新推荐文章于 2024-08-26 16:32:21 发布
阅读量4k 收藏 33
点赞数 7
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/shang_feng_wei/article/details/94762218
版权
MFS（文件系统）

MooseFS是一个具有容错性的网络分布式文件系统。它把数据分散存放在多个物理服务器上，而呈现给用户的则是一个统一的资源

MooseFS旨在为数据中心提供容错，高可用，高性能，可扩展的通用网络分布式文件系统。最初是专有软件

官网地址：http://www.moosefs.com/

MooseFS 特点
  • 高可靠性：每份数据可以设置多个副本(多份数据)，并可以存储在不同的主机上
  • 可扩展性：可以很轻松的通过增加主机磁盘容量或增加主机数量来动态扩展整个文件系统的存储量
  • 可容错性：我们可以通过对mfs进行系统设置，实现当数据文件被删除后一段时间内，依然存放在主机的回收站中，以备误删恢复数据
  • 数据一致性：即使文件被写入/访问时，我们依然可以轻松完成对文件一致性的快照
  • 1.轻量 易配置 易维护
    2.开发活跃 社区也比较活跃 资料丰富
    3.括容成本低 支持在线扩容 不影响业务
    4.以文件系统的方式展示
    5.磁盘利用率较高
    6.可设置删除文件的空间回收时间，避免误删文件丢失及恢复不及时影响业务
    7.系统负载，即数据读写分配到所有的服务器上
    8.可以设置文件备份的副本数量
MooseFS组成
文件系统包括三个组件：

1 元数据服务器（Master）

  • 维护和管理文件的位置（布局），文件访问和命名空间层次结构。当前版本的MooseFS支持多个元数据服务器和自动故障转移。客户端只与MDS通信以检索/更新文件的布局和属性; 数据本身直接在客户端和块服务器之间传输。元数据服务器是用户空间守护程序 ; 元数据保存在内存中，并且懒惰地存储在本地磁盘上。

2 元数据日志服务器（Metalogger）

  • 纪录数据的改动情况，定期从MDS中提取元数据以存储它以进行备份

3 块服务器（Chunk Server）

  • 存储数据并可选地在它们之间进行复制。虽然可扩展性限制尚未发布，但可能有很多。迄今为止报告的最大集群包括160台服务器。[7] Chunk服务器也是一个用户空间守护程序，它依赖于底层本地文件系统来管理实际存储

客户端

  • 与Master和ChunkServer交谈。MooseFS客户端通过FUSE将文件系统挂载到用户空间
MFS读过程
  • 客户端向Master发送读请求
  • Master去缓存的数据库（非MySQL）中搜索客户端所需数据的位置，并告知客户
  • 客户端去指定Chunk Server的对应Chunk编号读取数据
  • 客户端通知Master读取完毕
MFS写过程

  • 客户端向Master发送写请求

  • Master通知Chunk Server（谁空闲，如空闲新建Chunk编号），找到后将知道的Chunk Server IP和编号告知客户端

  • 客户端向指定IP和编号存储数据

  • 客户端告知Master写入完毕

  • Master通知Metalogger有新数据写入（Matelogger纪录新增加文件位置和对应Chunk Server），日志记录完毕后，连接关闭

数据存储方式
  • 文件以chunk大小存储，每chunk最大为64M。小于64M的，该chunk的大小即为该文件大小，超过64M的文件将被均分，每一份（chunk）的大小以不超过64M为原则；
  • 文件可以有多份copy，即除原始文件以外，该文件还存储的份数。当goal为1时，表示只有一份copy，这份copy会被随机存到一台chunkserver上。当goal的数大于1时，每一份copy会被分别保存到其它chunkserver上。
  • goal的大小不要超过chunkserver的数量，否则多出的copy，不会有chunkserver去存，goal设置再多实际上也就没有意义的。
  • copy的份数，一般设为大于1份，这样如果有一台chunkserver坏掉后，至少还有一份copy，当这台又被加进来后，会将失去的那份copy补回来，始终保持原有的copy数。
  • 而如果goal设为1，那么当存储该copy的chunkserver坏掉，之后又重新加入回来，copy数将始终是0，不会恢复到之前的1个copy
  • chunkserver上的剩余存储空间要大于1GB，新的数据才会被允许写入，否则，你会看到No space left的提示
  • 多个chunker并不影响写的速度，但是能加快读的速度，在原来的基础上增加一个chunker时，数据会自动同步到新增的chunker上以达到数据的平衡和均衡

mfs分布式文件系统

准备四台主机进行实验：
172.25.13.110 ：管理机master
172.25.13.120：后端存储1
172.25.13.130：都端存储2
172.25.13.140 ：测试物理主机

管理机master设置：

获取mfs安装包，并安装；可在官网下载：

 moosefs-master-3.0.105-1.rhsystemd.x86_64.rpm
 moosefs-cli-3.0.105-1.rhsystemd.x86_64.rpm
 moosefs-cgi-3.0.105-1.rhsystemd.x86_64.rpm
 moosefs-cgiserv-3.0.105-1.rhsystemd.x86_64.rpm

安装完成后会生成mfs用户

[root@toto1 3.0.105]# id mfs
uid=997(mfs) gid=995(mfs) groups=995(mfs)

添加本地解析（非常重要，不做的话，服务起不来）

[root@toto1 3.0.105]# vim /etc/hosts
172.25.13.110   toto1 mfsmaster

启动master
systemctl start moosefs-master
服务配置文件：/etc/mfs/mfsmaster.cfg

查看端口发现9419 9420 9421三个端口打开：
9419:metalogger监听的端口，默认的，和源数据日志结合。定期和master主机同步数据
9420:用于chunkserver连接的默认端口地址
9421:用于clientserver连接的默认端口

[root@toto1 3.0.105]# netstat -antlp
Active Internet connections (servers and established)
Proto Recv-Q Send-Q Local Address           Foreign Address         State       PID/Program name    
tcp        0      0 0.0.0.0:9419            0.0.0.0:*               LISTEN      2165/mfsmaster      
tcp        0      0 0.0.0.0:9420            0.0.0.0:*               LISTEN      2165/mfsmaster      
tcp        0      0 0.0.0.0:9421            0.0.0.0:*               LISTEN      2165/mfsmaster      
tcp        0      0 0.0.0.0:22              0.0.0.0:*               LISTEN      657/sshd            
tcp        0      0 127.0.0.1:25            0.0.0.0:*               LISTEN
启动图形

systemctl start moosefs-cgiserv
查看9425端口是否打开

[root@toto1 3.0.105]# systemctl start moosefs-cgiserv
[root@toto1 3.0.105]# netstat -antlp
Active Internet connections (servers and established)
Proto Recv-Q Send-Q Local Address           Foreign Address         State       PID/Program name    
tcp        0      0 0.0.0.0:9419            0.0.0.0:*               LISTEN      2165/mfsmaster      
tcp        0      0 0.0.0.0:9420            0.0.0.0:*               LISTEN      2165/mfsmaster      
tcp        0      0 0.0.0.0:9421            0.0.0.0:*               LISTEN      2165/mfsmaster      
tcp        0      0 0.0.0.0:9425            0.0.0.0:*               LISTEN      2178/python

测试master是否配置正常：
使用物理主机访问：172.25.13.110：9425
在这里插入图片描述
在这里插入图片描述

部署chunkserver

注意：两个后端服务器的设置是一致的

安装服务：
rpm -ivh moosefs-chunkserver-3.0.105-1.rhsystemd.x86_64.rpm
安装包可以从官网进行下载：

添加本地解析（非常重要，不做的话，服务起不来）

[root@toto1 3.0.105]# vim /etc/hosts
172.25.13.110   toto1 mfsmaster

添加一块磁盘存放数据:
添加磁盘、分区、格式化、创建挂载目录/mnt/toto2、挂载

修改目录权限
chown mfs.mfs /mnt/toto2 ：不修改服务无法启动
由于该服务时由mfs用户的身份进行运行操作，所有将该共享挂载目录的权限修改位mfs

修改配置文件
vim /etc/mfs/mfshdd.cfg
最后一行加上：
/mnt/toto2 # 指定共享的目录是哪一个

启动服务
systemctl start moosefs-chunkserver.service

查看9422端口已经开启：

[root@toto2 3.0.105]# netstat -antlp
Active Internet connections (servers and established)
Proto Recv-Q Send-Q Local Address           Foreign Address         State       PID/Program name    
tcp        0      0 0.0.0.0:9422            0.0.0.0:*               LISTEN      2492/mfschunkserver

测试：图形化可以看到两个后端服务器也加入了server选项：
在这里插入图片描述

配置客户端（物理机做客户端）

安装客户端
moosefs-client-3.0.105-1.rhsystemd.x86_64.rpm
安装包可以从官网进行下载：

添加本地解析（非常重要，不做的话，服务起不来）

[root@toto1 3.0.105]# vim /etc/hosts
172.25.13.110   toto1 mfsmaster

编辑配置文件
vim /etc/mfs/mfsmount.cfg
最后一行加上：

/mnt/mfs  # 指定挂载点

创建挂载点
mkdir /mnt/mfs

挂载
[root@toto4 3.0.105]# mfsmount

查看挂载情况：挂载成功

[root@toto4 3.0.105]# df
Filesystem            1K-blocks     Used Available Use% Mounted on
/dev/mapper/rhel-root  17811456 10384300   7427156  59% /
devtmpfs                 930892        0    930892   0% /dev
tmpfs                    941864        0    941864   0% /dev/shm
tmpfs                    941864    16748    925116   2% /run
tmpfs                    941864        0    941864   0% /sys/fs/cgroup
/dev/sda1               1038336   141512    896824  14% /boot
tmpfs                    188376        0    188376   0% /run/user/0
mfsmaster:9421         41920512   590464  41330048   2% /mnt/mfs
使用客户端进行测试

建立目录测试

mkdir /mnt/mfs/dir1
mkdir /mnt/mfs/dir2

查看信息

mfsgetgoal 测试目录：显示目录的备份次数

[root@toto4 3.0.105]# mfsgetgoal /mnt/mfs/dir1
/mnt/mfs/dir1: 2
[root@toto4 3.0.105]# mfsgetgoal /mnt/mfs/dir2
/mnt/mfs/dir2: 2

显示两个目录都进行备份两次：由于只有两个都端存储服务器。

改变备份份数
改变其中一个目录的备份次数，用来作对比
mfssetgoal -r 1 /mnt/mfs/dir1

[root@toto4 dir1]# mfssetgoal -r 1 /mnt/mfs/dir1
/mnt/mfs/dir1:
 inodes with goal changed:                       1
 inodes with goal not changed:                   0
 inodes with permission denied:                  0

拷贝文件测试

/mnt/mfs/dir1 ：只进行一次备份

[root@toto4 dir1]# cp /etc/passwd .
[root@toto4 dir1]# mfsfileinfo passwd
passwd:
	chunk 0: 0000000000000001_00000001 / (id:1 ver:1)
		copy 1: 172.25.13.130:9422 (status:VALID)   # 数据存储在130主机上

/mnt/mfs/dir2 ：进行两次备份

[root@toto4 dir2]# cp /etc/group .
[root@toto4 dir2]# mfsfileinfo group 
group:
	chunk 0: 0000000000000002_00000001 / (id:2 ver:1)
		copy 1: 172.25.13.120:9422 (status:VALID)
		copy 2: 172.25.13.130:9422 (status:VALID)   # 备份两次，分别在不同的主机上

文件的查看：
在客户端上可以查看文件的具体内容；但是在存储服务器上只能看到文件碎片。
在这里插入图片描述
在这里插入图片描述

关闭130主机进行测试

由于dir1中的数据存储在130主机上，
dir2中的数据在120以及130主机上各自存储了一份，这时候关闭130主机，测试不同：

130主机进行操作：

[root@toto3 mnt]# systemctl stop moosefs-chunkserver

查看dir2中的文件内容：

[root@toto4 dir2]# mfsfileinfo group 
group:
	chunk 0: 0000000000000002_00000001 / (id:2 ver:1)
		copy 1: 172.25.13.120:9422 (status:VALID)   # 显示存储在120主机，由于130主机关闭

文件能够正常查看

[root@toto4 dir2]# cat group 
root:x:0:
bin:x:1:
daemon:x:2:
sys:x:3:
adm:x:4:
tty:x:5:

查看dir1中的文件内容：

[root@toto4 dir1]# mfsfileinfo passwd 
passwd:
	chunk 0: 0000000000000001_00000001 / (id:1 ver:1)
		no valid copies !!!   # 显示没有数据存储

[root@toto4 dir1]# cat passwd   # 由于没有数据，无法查看，一直卡在这个页面

只需要重新开启130主机即可。

测试较大的数据存储，是进行分块交叉存储

文件以chunk大小存储，每chunk最大为64M。小于64M的，该chunk的大小即为该文件大小，超过64M的文件将被均分，每一份（chunk）的大小以不超过64M为原则

在dir1目录：
放入一个大小位200M的数据文件：

[root@toto4 dir1]# dd if=/dev/zero of=bigfile bs=1M count=200
200+0 records in
200+0 records out
209715200 bytes (210 MB) copied, 8.2296 s, 25.5 MB/s
[root@toto4 dir1]# mfsfileinfo bigfile 
bigfile:
	chunk 0: 0000000000000003_00000001 / (id:3 ver:1)
		copy 1: 172.25.13.120:9422 (status:VALID)
	chunk 1: 0000000000000004_00000001 / (id:4 ver:1)
		copy 1: 172.25.13.130:9422 (status:VALID)
	chunk 2: 0000000000000005_00000001 / (id:5 ver:1)
		copy 1: 172.25.13.120:9422 (status:VALID)
	chunk 3: 0000000000000006_00000001 / (id:6 ver:1)
		copy 1: 172.25.13.130:9422 (status:VALID)

文件被分成四个部分，交叉存储在120以及130主机，没有进行备份，相当于每一个值机里面只是这个文件的一部分

在dir2目录：

文件被分成四个部分，交叉存储在120以及130主机，进行备份，相当于每一个主机里面都由一个完整的文件

[root@toto4 dir2]# dd if=/dev/zero of=bigfile1 bs=1M count=200
200+0 records in
200+0 records out
209715200 bytes (210 MB) copied, 12.7836 s, 16.4 MB/s
[root@toto4 dir2]# mfsfileinfo bigfile1 
bigfile1:
	chunk 0: 0000000000000007_00000001 / (id:7 ver:1)
		copy 1: 172.25.13.120:9422 (status:VALID)
		copy 2: 172.25.13.130:9422 (status:VALID)
	chunk 1: 0000000000000008_00000001 / (id:8 ver:1)
		copy 1: 172.25.13.120:9422 (status:VALID)
		copy 2: 172.25.13.130:9422 (status:VALID)
	chunk 2: 0000000000000009_00000001 / (id:9 ver:1)
		copy 1: 172.25.13.120:9422 (status:VALID)
		copy 2: 172.25.13.130:9422 (status:VALID)
	chunk 3: 000000000000000A_00000001 / (id:10 ver:1)
		copy 1: 172.25.13.120:9422 (status:VALID)
		copy 2: 172.25.13.130:9422 (status:VALID)

在上述情况中，若是存在一台后端存储服务器宕机，则dir1中的文件不完整，客户端就会无法进行查看，但是dir2中的文件在每一个主机上都存在一个完成的备份，人就可以保证客户端可以正常的查看。

异常问题解决

1 master主机异常关闭后无法启动

正常情况下：
master开启时，默认会在/var/lib/mfs目录中生成metadata.mfs.back文件
master关闭时，metadata.mfs.back文件会变为metadata.mfs

目前master是开启的，看一下这个文件：果然存在

[root@toto1 3.0.105]# ls /var/lib/mfs/metadata.mfs.back
/var/lib/mfs/metadata.mfs.back

异常关闭master
使用kill 发送信号直接强行结束进程

[root@toto1 3.0.105]# ps aux |grep mfsmaster
mfs       2520  1.0 59.3 691344 603420 ?       S<   22:32   0:11 /usr/sbin/mfsmaster start
mfs       2521  0.0  0.0  23432   288 ?        S<   22:32   0:00 mfsmaster (data writer)
root      2534  0.0  0.0 112648   956 pts/0    R+   22:49   0:00 grep --color=auto mfsmaster
[root@toto1 3.0.105]# kill -9 2520
[root@toto1 3.0.105]# ps aux |grep mfsmaster
root      2539  0.0  0.0 112648   960 pts/0    S+   22:49   0:00 grep --color=auto mfsmaster

再次查看/var/lib/mfs目录中文件情况：

[root@toto1 3.0.105]# ls /var/lib/mfs
changelog.0.mfs  metadata.crc       metadata.mfs.back.1  stats.mfs
changelog.1.mfs  metadata.mfs.back  metadata.mfs.empty

metadata.mfs.back 文件依然存在，并没由变成metadata.mfs文件

无法启动

[root@toto1 3.0.105]# systemctl start moosefs-master
Job for moosefs-master.service failed because the control process exited with error code. See "systemctl status moosefs-master.service" and "journalctl -xe" for details.
解决办法

1 加上-a参数
mfsmaster start -a
2 要使用systemd方式，可以对启动脚本做修改

vim /usr/lib/systemd/system/moosefs-master.service   # 修改启动脚本
ExecStart=/usr/sbin/mfsmaster start -a  # 在该行后面添加 -a

mfs数据恢复

当数据被删除之后，在一定时间内可以进行恢复。该时间可以查看：
mfsgettrashtime /mnt/mfs/dir1/ 查看文件在垃圾箱中存在的时间：

[root@toto4 dir1]# mfsgettrashtime /mnt/mfs/dir1/
/mnt/mfs/dir1/: 86400   # 显示86400秒 时间是1天

删除该目录中的文件：

[root@toto4 dir1]# ls
bigfile  passwd
[root@toto4 dir1]# rm -fr passwd 
[root@toto4 dir1]# ls
bigfile

创建数据恢复的目录

[root@toto4 dir1]# mkdir /mnt/mfsmeta

挂载数据恢复的目录

mfsmount -m /mnt/mfsmeta/

这个挂载后df命令看不到，mount命令可以看到’ mount -l

目录里会有两个子目录，删除的数据在trash目录里

[root@toto4 mfsmeta]# pwd
/mnt/mfsmeta
[root@toto4 mfsmeta]# ls
sustained  trash

查找passwd文件

find -name *passwd*

[root@toto4 trash]# find -name *passwd*
./004/00000004|dir1|passwd

恢复文件

[root@toto4 trash]# cd 004
[root@toto4 004]# ls
00000004|dir1|passwd  undel
[root@toto4 004]# mv 00000004\|dir1\|passwd undel/

查看文件是否已经恢复

[root@toto4 004]# cd /mnt/mfs/dir1
[root@toto4 dir1]# ls
bigfile  passwd

成功恢复

shang_feng_wei
关注
【运维项目经历|037】MFS-Scale分布式对象存储系统部署与优化项目
小鹏linux的博客
07-15 443
项目背景 随着公司业务量的快速增长，传统的集中式存储系统已难以满足海量数据的高效存储与访问需求。特别是在视频、图片、日志等非结构化数据激增的背景下，公司决定引入分布式对象存储解决方案以提升存储效率、扩展性和数据安全性。MFS（MooseFS）作为一款开源的分布式文件系统，以其高可用性、可扩展性和成本效益成为我们的首选。 项目目标: 部署MFS分布式对象存储系统，实现数据的分布式存储与高效访问。 优化存储性能，确保在高并发场景下系统的稳定运行。 增强数据安全性与冗余性，通过多副本机制保障数据不丢失
linux下MFS(moosefs)安装使用
12-07
linux下MFS(moosefs)安装使用
分布式文件系统mfs（moosefs）搭建与配置
weixin_33894992的博客
09-19 748
一、MFS 特性：1. Free(GPL)2. 通用文件系统，不需要修改上层应用就可以使用3. 可以在线扩容，体系架构可伸缩性极强。4. 部署简单。5. 高可用，可设置任意的文件冗余程度(提供比 raid1+0 更高的冗余级别,而绝对不会影响读或写的性能，只会加速)6. 可回收在指定时间内删除的文件( “ 回收站 ” 提供的是系统级别的服务，不怕误操作了，提供类似 oralc...
2024年运维最全Linux基础知识汇总，看这一篇就够了
最新发布
小司机的奥拓
08-26 1335
实例：cd ~cd ../..2、mkdir命令用于创建目录。-p 确保目录名称存在，不存在的就建一个。在工作目录下的 runoob2 目录中，建立一个名为 test 的子目录。若 runoob2 目录原本不存在，则建立一个。（注：本例若不加 -p 参数，且原本 runoob2 目录不存在，则产生错误。3、pwd命令用于显示工作目录。执行 pwd 指令可立刻得知您目前所在的工作目录的绝对路径名称。–help 在线帮助。–version 显示版本信息。4、redir命令删除空的目录。
【Linux集群教程】06 分布式存储 - MFS
Dragon的博客
09-16 1924
MooseFS 是一个具备冗余 (良性冗余：非常重要的文件备份多个) 容错功能的分布式网络文件系统，它将数据分别存放在多个物理服务器或单独磁盘或分区上，确保一份数据有多个备份副本，然而对于访问 MFS 的客户端或者用户来说，整个 分布式网络文件系统集群看起来就像一个资源一样，从其对文件系统的情况看 MooseFS 就相当于 UNIX 的文件系统。MooseFS 是一种分布式文件系统，基于Linux内核，提供整套分布式文件服务。
Linux集群 分布式存储-MFS部署
qq_43791975的博客
08-12 586
​ 环境准备： 一台mfsmaster192.168.150.128， 一台mfsmetdate192.168.150.129， 两台mfschunkserver 192.168.150.130, 192.168.150.132， 一台mfsclient192.168.150.131 首先进行环境的准备，采用官网yum方式进行安装MFS官网https://moosefs.com/download/ ​...
Linux运维之MFS文件系统
weixin_44828950的博客
07-14 334
Linux运维之MFS文件系统 什么是MFS MooseFS是一个具有容错性的网络分布式文件系统。它把数据分散存放在多个物理服务器上，而呈现给用户的则是一个统一的资源。 对标准的文件操作来说，mfs用起来跟其它的类unix系统类似： 1、分层次的结构（目录树） 2、存储POSIX文件属性（权限、最后访问和修改时间） 3、支持特殊文件（块和字符设备、管道以及套接字） 4、符号连接和硬连接 5、对...
Linux企业运维篇——MFS文件系统的配置与恢复
weixin_44321116的博客
05-18 334
一.MFS 1.MFS文件系统 MooseFS是一个具有容错性的网络分布式文件系统。它把数据分散存放在多个物理服务器上，而呈现给用户的则是一个统一的资源。 2.MooseFS文件系统结构 管理服务器master 管理服务器：负责各个数据存储服务的管理文件读写调度，文件空间回收以及恢复，多节点拷贝 元数据日志服务器： 负责备份master服务器的变化日志文件，文件类型为changelog_ml.*....
Linux运维实战：CentOS7.6操作系统（重定向/文件查找/磁盘管理/文件系统/RAID/LVM&SSM）
Lakers2015的博客
11-13 2684
第11章 重定向和文件的查找 第12章 磁盘介绍及管理 第13章 Linux文件系统结构 第14章 RAID的原理与搭建 第15章 LVM管理和SSM工具使用
Linux运维-6.集群-集群视频-6、网络存储集群-09、分布式存储之 MFS-27、文件操作过程.mp4
06-02
Linux运维-6.集群-集群视频-6、网络存储集群-09、分布式存储之 MFS-27、文件操作过程
企业运维实战--MFS分布式系统（下）之fence
Rabbit_hyl的博客
07-09 351
企业运维实战--MFS分布式系统（下）之fence一、fence简介二、fence安装与配置笔记补充 一、fence简介 fence作用： 在高可用MFS分布式系统中，我们采用iscsi存储方式进行双机热备，备份磁盘的格式未xfs文件系统。由于意外原因，一台主机down掉，另一台主机会接管其人物继续服务，当down掉的主机重新启动时，则会出现两个主机同时对磁盘进行写操作。 xfs文件系统若存在超过一台主机同时进行写入操作，两个主机开始“抢夺资源”，则会发生“脑裂”，磁盘会无法使用。 fence在检测到已存
hadoop_hdfs 理论、数据读取、写入详解，存放机制 周期
qq_45798620的博客
10-09 4555
HDFS全称 Hadoop Distribute File System ： Hadoop分布式文件系统 主要作用： 即存储海量数据 为什么能存储海量数据？？ 因为其空间大，空间大的原因为服务器多、磁盘多。且支持扩展 HDFS组成部分 管理者-Master NameNode 集群中有1-2个，用于管理集群中的工作者 工作者-Slave DataNode 集群中有 辅助管理者工作 辅助管理 SecondaryNameNode 集群中有0-1 只负责辅助NameNo
Linux集群 分布式存储MFS
qq_43791975的博客
08-11 313
什么是MFS 1.MFS相关介绍 MooseFS是一个具备冗余容错功能的分布式网络文件系统，它将数据分别存放在多个物理服务器或单独磁盘或分区上，确保一份数据有多个备份副本，然而对于访问MFS的客户端或者用户来说，整个分布式网络文件系统集群看起来就像一个资源一样，从其对文件系统的情况看MooseES,就相当于UNIX的文件系统。...
linux之mfs配置
橙子的博客
10-15 766
linux之mfs配置 ntpdate ntp.org.cn master：192.168.8.183 masterlogger：192.168.8.184 chunk1：192.168.8.185 chunk2：192.168.8.186 client：192.168.204 1. 所用主机安装依赖zlib-devel gcc gcc-c++ 2. 所有主机创建用户usera...
linux分布式运维,Linux MFS分布式文件系统
weixin_29521135的博客
05-13 98
Master 192.168.1.101logserver 192.168.1.102存储节点 192.168.1.103存储节点 192.168.1.104测试客户机 192.168.1.10hostnamectl set-hostnamesu----搭建Master server-------#关闭防火墙systemctl stop firewalld.se...
【Linux--中级篇】MFS分布式文件系统
weixin_34007906的博客
02-19 98
MFS分布式文件系统1.实验环境主机操作系统IP地址主要软件MasterServerCentOS6.5x86_64192.168.10.10mfs-1.6.27-5.tar.gzMasterLoggerServerCentOS6.5x86_64192.168.10.11mfs-1.6.27-5.tar.gzChunkServer1CentOS6.5x86_64192.1...
存储服务
FlyFlywin-L的博客
12-03 1519
存储服务 首先说一下，存储类型： 按照网络拓扑分： DAS：直接附加存储 优点：1.技术简单，可以用最基本的raid方案提供稳定性。2.传输速率最高 缺点：存储设备与磁盘相互绑定 NAS ：网络附加存储{在同一个广播域下给其他机器共享存储能力} 优点：1.技术相对简单。2.不要求存储设备直连本机，只需在同局域网下即可nfs是linux在对少量机器的共享的标准解决方案 缺点：存储速率较慢 SAN ：存储区域网络{就是把用户访问网络和存储网络分割开，用两个不同的广播域去连接} 优点：1.存储安全性较高。2.存储
Linux下MFS分布式文件系统中基于fence的mfsmaster的高可用（mfs软件包的版本为3.103-1）
qq_42303254的博客
04-16 213
续我的上篇博文：https://mp.csdn.net/postedit/89107881。即mfsmaster的高可用已经搭建部署好 一、fence的工作原理 fence的工作原理： 当意外原因导致主机异常或者宕机时，备机会首先调用FENCE设备，然后通过FENCE设备将异常主机重启或者从网络隔离，当FENCE操作成功执行后，返回信息给备机，备机在接到FENCE成功的信息后，...
链接linux mfs密钥,linux下MFS(moosefs)安装使用
weixin_34236986的博客
05-13 211
MFS文件系统的组成◆ 元数据服务器。在整个体系中负责管理管理文件系统，目前MFS只支持一个元数据服务器master，这是一个单点故障，需要一个性能稳定的服务器来充当。希望今后MFS能支持多个master服务器，进一步提高系统的可靠性。◆ 数据存储服务器chunkserver。真正存储用户数据的服务器。存储文件时，首先把文件分成块，然后这些块在数据服务器chunkserver之间复制(复制份数可以...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值