MFS分布式对象存储
- 1.简介
- 2.MFS工作原理和设计架构
- 3.MFS安装部署配置实验
- 准备环境
- Master server
- Metalogger server
- Chunk server (1-4)
- Client server
- 4.MFS高级特性
- MFS设置goal冗余(副本)
- MFS回收站
- MFS启动和关闭
- MFS master 故障修复
- MFS master 启动监控服务
- mfsmaster.cfg详解:
1.简介
分布式文件系统(Distributed File System)是指文件系统管理的物理存储资源不一定直接连接在本地节点上,而是通过计算机网络与节点相连。分布式文件系统的设计基于客户机/服务器模式。一个典型的网络可能包括多个供多用户访问的服务器。
应用场景
适用于需要海量数据存储
解决方案:分布式存储,构建一个巨大的存储空间
目标:使用一个软件对多台服务进行统一管理配置方案
多台服务器对外表现为一个整体,是一整个集群
MFS分布式存储的优点:
- Free(GPL)通用文件系统
- 可以在线扩容,体系架构可伸缩性极强。
- 部署简单
- 高可用,可设置任意的文件冗余程度(提供比raid10更高的冗余级别,而绝对不会影响读或者写的性能,只会加速)
- 可回收在指定时间内删除的文件(“回收站”提供的是系统级别的服务,提供类似即时回滚特性
- 提供了类似于EMC,IBM等商业存储的snapshot(快照)特性。(可以对整个文件甚至在正在写入的文件创建文件的快照)
2.MFS工作原理和设计架构
角色 | 角色作用 |
管理服务器managing server (master) | 负责各个数据存储服务器的管理,文件读写调度,文件空间回收以及恢复、多节点拷贝 |
元数据日志服务器Metalogger server(Metalogger) | 负责备份master 服务器的变化日志文件,文件类型为changelog_ml.*.mfs ,以便于在master server 出问题的时候提供数据找回功能 |
数据存储服务器data servers (chunk servers) | 负责连接管理服务器,听从管理服务器调度,提供存储空间,并为客户提供数据传输. |
客户机挂载使用client computers | 通过fuse 内核接口挂接远程管理服务器上所管理的数据存储服务器,看起来共享的文件系统和本地unix 文件系统使用一样的效果. |
MFS的读数据过程
- 当客户端需要数据的时候,首先向master server发起查询请求
- 管理服务器检索自己的数据,获取到数据所在的可用数据服务器位置ip|port|chunkid
- 管理服务器将数据服务器的地址发送给客户端
- 客户端向具体的数据服务器发起数据获取请求
- 数据服务器将数据发送给客户端
MFS的写数据过程
- 当客户端有数据写需求的时候,首先向管理服务器提供文件元数据信息请求存储地址(元数据信息如:文件名|大小|份数等)
- 管理服务器根据写文件的元数据信息,到数据服务器创建新的数据块
- 数据服务器返回创建成功的消息
- 管理服务器将数据服务器的地址返回给客户端(客户端的ip地址|端口号|chunkid)
- 客户端向数据服务器写数据
- 数据u服务器返回给 客户端写成功的消息
- 客户端将此次写完成结束信号和一些信息发送到管理服务器来更新文件的长度和最后修改时间
MFS的修改或删除文件过程
- 客户端有删除操作的时候,首先向master发送删除信息
- master定位到相应元数据信息进行删除,并将chunk server上块的删除操作加入队列异步清理
- 响应客户端删除成功的信号MFS修改文件内容的过程客户端有修改文件内容时,首相向master发送操作信息
- master申请新的块给.swp文件,客户端关闭文件后,会向master发送关闭信息
- master会检测内容是否有更新,若有,那就申请新的块存放更改后的文件,删除原有块和.swp文件块
- 若无,则直接删除.swp文件块
MFS重命名文件的过程
- 客户端重命名文件时,会向master发送操作信息
- master直接修改元数据信息中的文件名
- 返回重命名完成信息
MFS遍历文件的过程
- 遍历文件不需要访问chunk server,当有客户端遍历请求的时候,会向master发送操作信息
- master返回相应元数据信息
- 客户端接收到信息后显示
注:
- Master记录着管理信息,比如:文件路径|大小|存储的位置(ip,port,chunkid)|份数|时间等,元数据信息存在于内存中,会定期写入metadata.mfs.back文件中,定期同步到metalogger;操作实时写入changelog.*.mfs,实时同步到metalogger server中。master启动将metadata.mfs载入内存,重命名为metadata.mfs.back文件。
- 文件以chunk大小存储,每chunk最大为64M,小于64M的,该chunk的大小即为该文件大小(验证实际chunk文件略大于实际文件),超过64M的文件将被切分,以每一份(chunk)的大小不超过64M为原则;块的生成遵循规则:目录循环写入(00-FF 256个目录循环,step为2)、chunk文件递增生成、大文件切分目录连续。
- Chunkserver上的剩余存储空间要足够大,新的数据才会被允许写入,否则,你会看到No space left on device的提示,实际中,测试发现当磁盘使用率达到95%左右的时候,就已经不行写入了,当时可用空间为1.9GB。
- 文件可以有多份copy,当goal为1时,文件会被随机存到一台chunkserver上,当goal的数大于1时,copy会由master调度保存到不同的chunkserver上,goal的大小不要超过chunkserver的数量,否则多出的copy,不会有chunkserver去存。
3.MFS安装部署配置实验
准备环境
IP | 身份 |
192.168.88.10 | Client server |
192.168.88.20 | Master server |
192.168.88.30 | Metalogger server |
192.168.88.40 | Chunk server 1 |
192.168.88.50 | Chunk server 2 |
192.168.88.60 | Chunk server 3 |
192.168.88.70 | Chunk server 4 |
Master server
安装
配置
管理
Metalogger server
安装
配置
管理
Chunk server (1-4)
安装前需要给四个虚拟主机添加四块硬盘并重启
安装
配置
管理
Client server
安装
配置
测试
查看四台机器我们会发现存入的文件是会有偏移的
客户端删除文件后在我们的master server的meta下的trash目录下,里面有许多的十六进制目录
这样表示已经删除一个文件,undel可以还原到之前文件所在的路径
4.MFS高级特性
MFS设置goal冗余(副本)
文件副本——目的是做文件冗余,增强数据可靠性。比磁盘阵列安全性高的多。
目标(goal),是指文件被拷贝的份数,默认是两份。使用mfssetgoal进行拷贝份数设置,设定了拷贝的份数后是可以通过mfsgetgoal 命令来证实的,也可以通过mfsrsetgoal 来改变设定。
-r 可以实现对目录树结构的递归
MFS回收站
一个删除文件能够存放在一个“ 垃圾箱”的时间就是一个隔离时间, 这个时间可以用mfsgettrashtime 命令来验证,也可以用mfssettrashtime 命令来设置。如:
问题 1:如何恢复被误删除的文件呢?
答:在回收站中有个 undel 目录
注意:如果在源文件同一个路径下有个新的同名文件,那么恢复不会成功。
问题 2:如何修改文件被删除后在回收站中的保留时间
答:
MFS启动和关闭
启动MFS集群
最安全的启动MooseFS 集群(避免任何读或写的错误数据或类似的问题)的方式是按照以下命令步骤:
- 启动mfsmaster 进程
- 启动所有的mfschunkserver 进程
- 启动mfsmetalogger 进程(如果配置了mfsmetalogger)
- 当所有的chunkservers 连接到MooseFS master 后,任何数目的客户端可以利用mfsmount 去挂接被export 的文件系统。(可以通过检查master 的日志或是CGI 监视器来查看是否所有的chunkserver被连接)。
停止MFS集群
- 安全的停止MooseFS 集群:
- 在所有的客户端卸载MooseFS 文件系统(用umount 命令或者是其它等效的命令)
- 用mfsmaster stop 命令停止master 进程
- 用mfschunkserver stop 命令停止chunkserver 进程
- 用mfsmetalogger stop 命令停止metalogger 进程
MFS master 故障修复
一旦mfsmaster 崩溃(例如因为主机或电源失败),需要最后一个元数据日志changelog 并入主要的metadata 中。这个操作时通过mfsmetarestore 工具做的,最简单的方法是:
如果master 数据被存储在MooseFS 编译指定地点外的路径,则要利用-d 参数指定使用,如:
MFS master 启动监控服务
mfsmaster.cfg详解:
注意:
- 凡是用#注释掉的变量均使用其默认值
- 修改DATA_PATH指定的目录要权限为mfs,chown -R mfs:mfs /usr/local/mfs/var/mfs
- mfsexports 访问控制对于那些老用户是没用的
- 注意开通监听的端口