MFS分布式存储系统(2)-文件写入方式与文件恢复、存储类

最新推荐文章于 2022-05-29 19:18:54 发布
最新推荐文章于 2022-05-29 19:18:54 发布
阅读量277 收藏
点赞数
分类专栏： Linux企业实战篇
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/nk298120/article/details/115946009
版权

文章目录

一、文件写入方式与文件恢复

1.文件写入

mfs默认的单个chunk大小为50M,如果写入文件大于50M,则mfs会为其分配多个chunk来存储
mfs写入过程图解：
在这里插入图片描述
在这里插入图片描述

2.文件恢复

[root@foundation1 mfs]# cd dir1
[root@foundation1 dir1]# ls
passwd
[root@foundation1 dir1]# rm -rf passwd     %删除passwd文件
[root@foundation1 dir1]# ls
[root@foundation1 dir1]# cd
[root@foundation1 mnt]# mkdir mfsmeta      %创建元数据目录
[root@foundation1 mnt]# cd mfsmeta/
[root@foundation1 mfsmeta]# ls     
[root@foundation1 mfsmeta]# mfsmount -m /mnt/mfsmeta/       %-m参数是指定元数据的意思  
mfsmaster accepted connection with parameters: read-write,restricted_ip
[root@foundation1 mfsmeta]# df
Filesystem                        1K-blocks     Used Available Use% Mounted on
devtmpfs                            3924804        0   3924804   0% /dev
tmpfs                               3940708    18720   3921988   1% /dev/shm
tmpfs                               3940708    10044   3930664   1% /run
tmpfs                               3940708        0   3940708   0% /sys/fs/cgroup
/dev/mapper/rhel_foundation1-root 225251880 73165968 152085912  33% /
/dev/sda1                           1038336   683544    354792  66% /boot
tmpfs                                788140       32    788108   1% /run/user/1000
/dev/loop0                          4391278  4391278         0 100% /var/www/html/rhel7.6
mfsmaster:9421                     20948992   590656  20358336   3% /mnt/mfs
[root@foundation1 mfsmeta]# ls
sustained  trash
[root@foundation1 mfsmeta]# cd trash/
[root@foundation1 trash]# ls
[root@foundation1 trash]# ls | wc -l
4097
[root@foundation1 trash]# find -name *passwd*
./004/00000004|dir1|passwd
[root@foundation1 trash]# cd 004/
[root@foundation1 004]# ls
'00000004|dir1|passwd'   undel
[root@foundation1 004]# mv 00000004\|dir1\|passwd undel/       %相当于撤销的动作
[root@foundation1 004]# cd /mnt/mfs/dir1/
[root@foundation1 dir1]# ls      %删除的文件已经恢复
passwd

在这里插入图片描述
在这里插入图片描述

二、存储类

master内存的开销主要取决于整个分布式文件系统中文件的数量而不是大小，cpu的消耗主要来源于用户的操作。为了更合理的利用系统资源，我们需要来创建存储类来对存储进行管理

1.添加chunk server节点

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

1.示例1

更改chunk server配置文件，添加LABEL:
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

[root@foundation1 mfs]# cd dir2
[root@foundation1 dir2]# ls
bigfile  fstab
[root@foundation1 dir2]# mfsscadmin create 2A class_2A     %创建存储类,2A表示存两份，两份都在有标签A的节点上
storage class make class_2A: ok
[root@foundation1 dir2]# mfsscadmin create AB class_AB     %AB表示存一份，在具有A和B标签的节点上
storage class make class_AB: ok
[root@foundation1 dir2]# mfsfileinfo fstab 
fstab:
	chunk 0: 0000000000000002_00000001 / (id:2 ver:1)
		copy 1: 172.25.0.2:9422 (status:VALID)
		copy 2: 172.25.0.3:9422 (status:VALID)
[root@foundation1 dir2]# mfssetsclass class_2A fstab         %设置文件的存储类
fstab: storage class: 'class_2A'
[root@foundation1 dir2]# mfsfileinfo fstab                   %查看文件的存储信息
fstab:
	chunk 0: 0000000000000002_00000001 / (id:2 ver:1)
		copy 1: 172.25.0.2:9422 (status:VALID)
		copy 2: 172.25.0.4:9422 (status:VALID)
[root@foundation1 dir2]# mfsfileinfo bigfile 
bigfile:
	chunk 0: 0000000000000003_00000001 / (id:3 ver:1)
		copy 1: 172.25.0.2:9422 (status:VALID)
		copy 2: 172.25.0.3:9422 (status:VALID)
	chunk 1: 0000000000000004_00000001 / (id:4 ver:1)
		copy 1: 172.25.0.2:9422 (status:VALID)
		copy 2: 172.25.0.3:9422 (status:VALID)
[root@foundation1 dir2]# mfssetsclass class_AB bigfile 
bigfile: storage class: 'class_AB'
[root@foundation1 dir2]# mfsfileinfo bigfile 
bigfile:
	chunk 0: 0000000000000003_00000001 / (id:3 ver:1)
		copy 1: 172.25.0.3:9422 (status:VALID)
	chunk 1: 0000000000000004_00000001 / (id:4 ver:1)
		copy 1: 172.25.0.3:9422 (status:VALID)
[root@foundation1 dir2]# mfsscadmin delete class_AB       %删除存储类
storage class remove class_AB: error: Class in use
[root@foundation1 dir2]# mfsscadmin create A,B classAB    %A，B表示存两份，一份在具有标签A的节点上，一份在具有标签B的节点上
storage class make classAB: ok
[root@foundation1 dir2]# mfssetsclass classAB bigfile
bigfile: storage class: 'classAB'
[root@foundation1 dir2]# mfsscadmin delete class_AB
storage class remove class_AB: ok
[root@foundation1 dir2]# mfsfileinfo bigfile 
bigfile:
	chunk 0: 0000000000000003_00000001 / (id:3 ver:1)        %因为bigfile为100M大小，因此分为两个chunk（块）来存
		copy 1: 172.25.0.3:9422 (status:VALID)
		copy 2: 172.25.0.4:9422 (status:VALID)
	chunk 1: 0000000000000004_00000001 / (id:4 ver:1)
		copy 1: 172.25.0.3:9422 (status:VALID)
		copy 2: 172.25.0.4:9422 (status:VALID)

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

2.示例2

server2上：
[root@server2 mfs]# vim mfschunkserver.cfg
LABELS = A S   %更改标签
[root@server2 mfs]# systemctl reload moosefs-chunkserver.service 

server3上：
[root@server3 mfs]# vim mfschunkserver.cfg
LABELS = A B S H  %更改标签
[root@server3 mfs]# systemctl reload moosefs-chunkserver.servic512e 

server4上：
[root@server4 ~]# vim /etc/mfs/mfschunkserver.cfg
LABELS = A H   %更改标签
[root@server4 ~]# systemctl reload moosefs-chunkserver.service

客户端：
[root@foundation1 dir2]# mfsscadmin create AS,BS class_ASBS         %创建存储类
storage class make class_ASBS: ok
[root@foundation1 dir2]# ls
bigfile  fstab
[root@foundation1 dir2]# mfssetsclass class_ASBS fstab              %设置文件以指定存储类型存储
fstab: storage class: 'class_ASBS'
[root@foundation1 dir2]# mfsfileinfo fstab 
fstab:
	chunk 0: 0000000000000002_00000001 / (id:2 ver:1)
		copy 1: 172.25.1.2:9422 (status:VALID)
		copy 2: 172.25.1.3:9422 (status:VALID)
[root@foundation1 dir2]# mfsscadmin create BS,2A[S+H] class4
storage class make class4: ok
[root@foundation1 dir2]# mfssetsclass class4 fstab 
fstab: storage class: 'class4'
[root@foundation1 dir2]# mfsfileinfo fstab 
fstab:
	chunk 0: 0000000000000002_00000001 / (id:2 ver:1)
		copy 1: 172.25.1.2:9422 (status:VALID)
		copy 2: 172.25.1.3:9422 (status:VALID)
		copy 3: 172.25.1.4:9422 (status:VALID)
[root@foundation1 dir2]# mfsscadmin create -C 2AS -K AS,BS -A AH,BH -d 30 class5   %表示创建一个存储类class5,存储两份，在AS上，-K参数指定数据保留在AS和BS上各一份，-d指定30天后，-A指定迁移到AH和BH上
storage class make class5: ok
[root@foundation1 dir2]# mfssetsclass class5 fstab 
fstab: storage class: 'class5'
[root@foundation1 dir2]# mfsfileinfo fstab 
fstab:
	chunk 0: 0000000000000002_00000001 / (id:2 ver:1)
		copy 1: 172.25.1.2:9422 (status:VALID)
		copy 2: 172.25.1.3:9422 (status:VALID)

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

HTDST
关注
专栏目录
MFS分布式文件系统实战（1）——基础知识
ymeng9527的博客
08-17 308
1.什么是MFS？
MFS分布式文件系统
weixin_44717560的博客
04-06 1309
一、MFS介绍 1. mfs工作原理 分布式原理 分布式文件系统就是把一些分散在多台计算机上的共享文件夹，集合到一个共享文件夹内，用户要访问这些文件夹的时候，只要打开一个文件夹，就可以的看到所有链接到此文件夹内的共享文件夹。 . MFS原理 MFS是一个具有容错性的网络分布式文件系统，它把数据分散存放在多个物理服务器上，而呈现给用户的则是一个统一的资源。 2.mfs组成 （1）元数据服务器（Master）：在整个体系中负责管理文件系统，维护元数据，目前不支持高可用。 （2）元数据日志服务器（MetaLogg
1.分布式文件系统-----mfs部署、文件写入与恢复、存储类
qq_44060147的博客
07-09 246
mfs部署、文件写入与恢复、存储类一、安装配置mfs1.server12.server23.server34.真机172.25.254.15二、文件存储与恢复三、存储标签更改 一、安装配置mfs server1:172.25.15.1 server2:172.25.15.2 server3:172.25.15.3 真机:172.25.254.15 [root@foundation15 ~]# lftp 172.25.254.250 lftp 172.25.254.250:/pub> cd pub/do
详解大数据HDFS分布式文件系统的写入流程
weixin_43181007的博客
02-14 304
写入流程: 1.客户端发起RPC请求访问NameNode 2.NameNode在收到请求之后会进行校验:路径校验,权限校验 3.如果所有校验都通过,则计算文件大小,计算切块数量,分配对应的DataNode,记录元数据,将文件块的储存地址,放入到队列中返回给客户端 4.客户端收到队列后,将文件进行切块,然后将每一块封装成一个packets对象,准备发送 5.客户端取出第一块的地址,从这些地址中选一个...
MFS分布式文件系统（1）——基本知识
qq_42024433的博客
05-21 453
1.什么是MFS(分布式文件系统)？ MooseFS是一个具有容错性的网络分布式文件系统。它把数据分散存放在多个物理服务器上，而呈现给用户的则是一个统一的资源 常规特征 对标准的文件操作来说，mfs用起来跟其它的类unix系统类似： 1、分层次的结构（目录树） 2、存储POSIX文件属性（权限、最后访问和修改时间） 3、支持特殊文件（块和字符设备、管道以及套接字） 4、符号连接和硬连接 5、对文件系统的访问可以通过IP地址和（或者）密码进行限制 独有特征 1、高可靠（数据的多个拷贝被存储在不同的计算机上）
分布式存储系统------mfs的部属
m0_55444160的博客
07-17 432
文章目录1.mfs概述2.mfs架构组成3. mfs处理逻辑4. mfs工作场景5. mfs 1.mfs概述 MFS：（MooseFS)，是一个具备冗余容错功能的分布式网络文件系统，它将数据分别存放在多个物理服务器或单独磁盘或分区上，确保一份数据有多个备份副本。对于访问的客户端来说，整个分布式网络文件系统集群如一个整体资源，可从中调取相应资源。 相关解释: 冗余：文件可以在多台服务器同时保存，意味着设置文件副本数目可以大于 1 个 容错；清空策略有延迟，对于失误型操作，如删除文件可以及时召回 ；分布式：把
mfs分布式文件系统—mfs安装、mfs的Storage class 存储类、mfs集群热备份/高可用
qq_43114229的博客
05-29 596
1、MFS安装 官网下载 [root@server1 ~]# curl "http://ppa.moosefs.com/MooseFS-3-el7.repo" > /etc/yum.repos.d/MooseFS.repo 下载mfs仓库 [root@server1 ~]# cd /etc/yum.repos.d/ [root@server1 yum.repos.d]# cat MooseFS.repo [MooseFS] name=MooseFS $releasever - $basearch
一次MFS下的报错分析（14年遇到的）
weixin_34194317的博客
01-12 173
MooseFS一、错误日志信息：Master 上自带有 Mfscgiserv , 那个服务我也起来了 . 但是访问 MasterIP:9425 , 页面会自动跳转至 mfs.cig 这个页面 . 且显示如下内容 :----------------------------------------------------------------------》 Tracebac...
MFS分布式（二）
m0_62341392的博客
12-29 449
实验前准备（还原上次分布式环境） server1: systemctl start moosefs-master #用这个命令开不起来是因为上次实验结束后非法关闭虚拟机了，mfs没有正常保持元数据 可以用mfsmaster -a 修复启动 netstat -antlp #查看端口是否开启 systemctl enable moosefs-master #设置开机自启 systemctl start moosefs-cgiserv.service #开启图形接口 ser...
MooseFS分布式文件系统的安装部署和功能实现（读写、存储类、mfs异常退出解决、数据删除后的恢复）
Aimee_c的博客
05-27 1390
文章目录1.MooseFS的介绍2.搭建MooseFS2.1 配置master主机2.2 配置chunk server服务器 1.MooseFS的介绍 MooseFS是容错的分布式文件系统。 它将数据分布在几个物理位置（服务器）上，这些位置对于用户来说是一种资源。 MooseFS可以用作任何其他类似Unix的文件系统： •分层结构（目录树） •存储POSIX文件属性（权限，最后访问和修改时间） •支持特殊文件（块和字符设备，管道和套接字） •符号链接（指向目标文件的文件名称，不一定在MooseFS上）和硬链
Moosefs分布式文件系统
wwy0324的博客
11-01 529
[root@server4 ~]# curl "http://ppa.moosefs.com/MooseFS-3-el7.repo" > /etc/yum.repos.d/MooseFS.repo % Total % Received % Xferd Average Speed Time Time Time Current Dload Upload Total Spent Left Sp
深度分析分布式文件系统（Hadoop HDFS）客户端写入机制
守护石大数据
11-30 1219
1. 开篇 Hadoop分布式文件系统（HDFS）是Hadoop大数据生态底层的数据存储设施。因其具备了海量数据的分布式存储能力，并针对不同批处理业务的大吞吐数据计算承载力，使其综合复杂度要远远高于大多数存储系统。 本文重点从客户端文件向HDFS写数据的角度切入，通过架构体系的分析绘制，源代码的层层分析，逐渐深入Hadoop内部机制，使其流程逐渐明朗化。HDFS数据写入过程是Hadoop核心技术中最复杂的流程之一，对其原理的掌握需要花费一些时间和精力，但这部分内容也是分布式文件系统架构机制的精髓所在。
分布式文件系统（HDFS）读写流程
weixin_46015057的博客
05-28 1352
HDFS数据副本机制 ​1、第一份数据来源于用户的客户端 ​2、第二份数据存放在与第一份副本在同一个机架，不同的节点，按照一定的机制（cpu 内存 io 使用率和节点磁 盘剩余容量）选取一个节点进行存放 ​3、第三份副本存放在，与第一第二副本不在同一机架，且逻辑距离最近的机架上，按照一定的机制（cpu 内存 io 使用率和节点磁盘剩余容量），选择一个节点进行存放 NameNode的三大作用 ​1、维护、管理HDFS的目录数-元数据-名字空间 ​2、确定指定的文件块到具体的DataNode结点的映射关系。
MFS如何迁移数据之替换存储节点
weixin_34409822的博客
01-06 490
公司使用MFS分布式搭建共享存储，默认副本数设置为2，数据节点（chunkserver）目前为6台。近日因为某些原因需要替换掉一台存储节点。在不影响使用的前提下进行替换。通过官方文档的提示建议先remove磁盘之后在停掉节点。参考MFS官方地址：https://moosefs.com/documentation/faq.htmlIs it possible to add/re...
3.1 MFS分布式文件系统_部署 高级特性 存储类
weixin_47133613的博客
04-22 660
MFS（分布式文件系统）？ MooseFS是一种分布式文件系统，它把数据分散存放在多个物理服务器上，前面只放置一台负责“调度”元数据服务器，最终呈现给用户的则是一个统一的资源。相对于集中式文件系统来说，分布式系统拥有更好的扩展性、稳定性、数据的安全性。 实验环境 3台全新的虚拟机 （单体磁盘容量不够（mysql），所以后端会挂一个分布式文件系统） MFS：一般的分布式文件系统 HADOOP：海量的文件系统（大数据平台） 官网：moosefs.com master上安装：cgi（接口，管理mfs），cl
MFS详解
crazzy_lp的博客
11-21 2447
一、分布式文件系统     分布式文件系统（Distributed File System）是指文件系统管理的物理存储资源不一定直接连接在本地节点上，而是通过计算机网络与节点相连。分布式文件系统的设计基于客户机/服务器模式。一个典型的网络可能包括多个供多用户访问的服务器。另外，允许一些系统扮演客户机和服务器的双重角色。例如，用户可以“发表”一个允许其他客户机访问的目录，一旦被访问，这个目录对...
mfs常见问题翻译(moosefs)
weixin_33777877的博客
05-06 641
英文原文参见： https://moosefs.com/documentation/faq.html#26 找翻译工具翻译的，个人感觉还比较准确，如有疏漏和错误的地方，各位可留言说明。 欢迎交流沟通：QQ 249016681 -------------------------------------------------...
优化存储：MFS分布式文件系统解决NFS性能瓶颈
在对比了多种分布式文件系统（如Lustre、Hadoop、Pnfs等）后，选择了MFS，因为它具有简易的安装部署、在线扩容、快速服务恢复以及社区支持等优势。MFS的核心组件包括元数据服务器，负责文件系统的管理工作，允许在不...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值