分布式文件系统基础

最新推荐文章于 2022-07-27 17:58:57 发布
VIP文章 最新推荐文章于 2022-07-27 17:58:57 发布
阅读量2.4k 收藏 3
点赞数 1
分类专栏： linux基础 后台开发 文件系统
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/hjwsm1989/article/details/52685229
版权

分布式文件系统

基础技术

A、 fstrim/discard

调用 TRIM整理 NAND上的碎片有两种方法，一是挂载 ext4分区时加上 discard选项，二是使用 fstrim命令。Android 4.3中的 TRIM是用 fstrim 实现的，但一般 Linux发行版并不建议使用 fstrim的方法，而是使用 mount ext4分区时加上 discard选项的办法。因为 discard选项会在每一个磁盘操作时同时执行 TRIM指令，所以可能会影响到删除文件时的性能。

通俗讲就是能把你删除了的文件彻底抹除，
系统删除文件的方法是把这个文件标记为已删除，而不是真的把这个文件从硬盘上抹除。这种删除方法对于传统的硬盘这类使用磁记录的没有关系，传统硬盘可以直接用磁头覆盖写入而不用考虑盘面上已经有了什么记录。但对于固态硬盘这类使用存储芯片的就不行了，所以需要这么设备有空时就抹除记录的技术，这样要写入数据的时候就能直接写入，而不是等到要写入的时候再去抹平这么临场操作，这样少了个步骤貌似硬盘写入就快了。

lustre

lustre 文件系统介绍

最低0.47元/天 解锁文章
huangjun1989
关注
  • 1
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
分布式文件系统.zip
05-10
分布式文件系统架构说明 - fastdfs-client(FastDFS 客户端) fastdfs提供的java客户端api，java相关功能都基于这个基础上封装，扩展，第三方应用不需要关心该接口. - fastdfs-core(HTTP服务器) 基于spring boot实现，提供http接口服务. 提供http服务器信息获取，http上传，http下载，删除上报，该服务会记录文件的基本信息，其中服务器信息获取，上传上报都由fastdfs-app自动完成，第三方应用不需要关心. - fastdfs-app(Apply SDK) 初始化 APIConfigure config = new APIConfigure("appKey", "httpServerUrl"); DFSAppClient.instance().initAPIConfigure(config); 实现执行初化操作，从fastdfs-core获取trackers服务器信息，及appKey对应的groupName， 这些动作都由SDK自动完成，第三方应用不需要关心. 上传文件 String fileId = DFSAppClient.instance().uploadFile(new File("文件绝对路径")); fileId:返回的fileId字符串，示例：group1/M00/00/00/wKgABFuOVJyEPGKEAAAAADUuUeE339.png fileId是后续对文件进行操作的基本参数，第三方应用拿到该值后应本地做好保存. 下载文件 FileOutputStream fos = new FileOutputStream(new File("文件绝对路径")); DFSAppClient.instance().downloadFile(fileId, fos, true); fileId:上传文件成功后返回的fileId字符串. 删除文件 int result = DFSAppClient.instance().deleteFile(fileId); fileId:上传文件成功后返回的fileId字符串. result:该方法会返回0表示删除成功，其他表示失败. fastdfs 下载示例说明 http://127.0.0.1:8808/dfs/v1/download?fileId=group1/M00/00/00/wKgABFuQ2PWEbNsOAAAAADUuUeE667.png&direct=true fileId:上传文件成功后返回的fileId字符串. direct:表示是否直接显示，非直接显示会提示下载，默认是非直接显示.
Linux系统中对SSD硬盘优化的方法
beckdon的专栏
08-18 3027
这里说的优化是针对EXT4格式，因为看了很多国外网站的很多读写评测，目前来说，EXT4在SSD硬盘是最快的，所以推荐使用SSD硬盘的使用EXT4格式。优化方案如下： 文章提到的fstab在/etc里面，可以直接运行"sudo gedit /etc/fstab"来修改   1、关闭日志功能 方法一： fstab里加挂载参数data=writeback，如： 原始的
EXT4文件系统 mount 参数翻译
热门推荐
小熊Leo的专栏
12-11 1万+
挂载选项对ext4:        ext4文件系统是一个先进水平的ext3文件系统，其中包括了可扩展性和可靠性        支持大型文件系统的增强。        选项journal_dev, noload, data, commit, orlov, oldalloc, [no]user_xattr [no]acl, bsddf, minixdf, debug, errors
linux下固态硬盘ssd优化
aniuge008的博客
06-13 3730
Linux下的trim支持叫discard，现在ext4和xfs都支持（btrfs应该也支持），内核需要>=2.6.37，xfs的支持在3.0才比较完善。 具体需要设置这几个方面： 1. 内核 升级到2.6.37以上，最好用最新的3.0。 禁用disk IO scheduler,将调度策略改变成由设备自己调度。 echo noop > /sys/block/sda/queue/sched
Linux下SSD硬盘对齐(trim)及优化
weixin_30823227的博客
01-20 500
Linux下的trim支持叫discard，现在ext4和xfs都支持（btrfs应该也支持），内核需要>=2.6.37，xfs的支持在3.0才比较完善。具体需要设置这2个方面：1.文件系统表修改fstab文件，在挂载参数中加上discard；最好也同时加上noatime，如下/dev/sda3 / ext4 noatime,nodiratime,discard,err...
GPFS分布式文件系统架构和原理
11-07
GPFS 简介，GPFS文件系统架构介绍；GPFS文件系统所涉及到的逻辑对象介绍；GPFS集群仲裁机制介绍；
分布式文件系统：原理、问题与方法
cangyingzhijia的专栏
02-25 3306
本地文件系统如ext3，reiserfs等（这里不讨论基于内存的文件系统），它们管理本地的磁盘存储资源、提供文件到存储位置的映射，并抽象出一套文件访问接口供用户使用。但随着互联网企业的高速发展，这些企业对数据存储的要求越来越高，而且模式各异，如淘宝主站的大量商品图片，其特点是文件较小，但数量巨大；而类似于youtube，优酷这样的视频服务网站，其后台存储着大量的视频文件，尺寸大多在数十兆到数吉字节
分布式文件系统
shibingbo1986的专栏
03-27 510
分布式文件系统 Distributed File Systems 　　分布式文件系统的设计基于客户机/服务器模式。一个典型的网络可能包括多个供多用户访问的服务器。另外，对等特性允许一些系统扮演客户机和服务器的双重角色。例如，用户可以“发表”一个允许其他客户机访问的目录，一旦被访问，这个目录对客户机来说就象使用本地驱动器一样，下面是三个基本的分布式文件系统。　　网络文件系统(NFS) 最早由Sun微
分布式文件系统的实现
weixin_34037173的博客
02-03 174
分布式文件系统的实现 1 配置数据库节点node5(172.16.21.5) Mysql的cmake编译与安装，详细步步骤参照我的"Mysql的cmake编译与安装博文" [root@node5 ~]# mysql MariaDB [(none)]> create database mogilefs; Query OK, 1 row affected (0.02 sec...
分布式文件系统介绍
weixin_34112030的博客
12-02 350
2019独角兽企业重金招聘Python工程师标准>>> ...
分布式文件系统测试方法与测试工具
03-23
非结构化数据、大数据、云存储已经毫无争议地成为了信息技术发展趋势和热点，分布式文件系统作为核心基础被推到了浪潮之巅，广泛被工业界和学术界热推。 　非结构化数据、大数据、云存储已经毫无争议地成为了信息...
Hadoop分布式文件系统：架构和设计
02-26
Hadoop分布式文件系统(HDFS)被设计成适合运行在通用硬件(commodityhardware)上的分布式文件系统。它和现有的分布式文件系统有很多共同点。但同时，它和其他的分布式文件系统的区别也是很明显的。HDFS是一个高度容错...
SSD安装ubuntu系统的优化
陋室逢雨
05-14 1万+
0. 1）BIOS设置为AHCI； 2）购买SSD的1年内，每隔几个月去官网检查是否有固件升级； 1. 开启TRIM功能 SSD要保持长期稳定和速度，就需要启用TRIM，这是让SSD在非尖峰读写时间才去真正抹除芯片上被标记抹除的资料。 1) 首先，检查内核版本是否支持TRIM： uname -a 2) 然后，检查SSD硬盘是否支持TRIM： hdparm -I /d...
磁盘管理和文件系统
Drw_Dcm的博客
07-03 489
磁盘管理和文件系统
android fstrim命令,emmc　FITRIM/discard命令在android系统中提升write performance的运用
weixin_39734074的博客
06-04 687
SSD/emmc 存储设备discard命令的使用意义及使用方法，请参考xfs官网上的这篇文章，描述详细。FITRIM/discard我的理解是：discard命令，只是将page标识为dirty状态，并未做真正的block erase操作。而当一个block大部份page都标识为dirty时，为重新利用该block，就得将数据有效page(none dirty page)迁移到别的block，同...
ext4之discard
guozhidixian的博客
01-07 2358
1. ext4如果配置discard模式,在删除文件的时候，会立刻下发discard/fstrim命令到ufs driver, ufs driver会下发umap命令到ufs devices, 此时文件系统地址(lba)到ufs devices 地址(pba)之间的映射就会断开，这时候ufs devices的文件数据就会标记为无效的数据， 此时FW就可以在合适的时间去回收这些数据(backgroud garbage collect). ...
固态磁盘部署指南
QTM_Gitee的博客
05-12 1248
固态磁盘(SSD)是使用NAND闪存芯片持久存储数据的存储设备。这使它们有别于前几代磁盘，前几代磁盘将数据存储在旋转的磁盘上。在SSD中，跨整个逻辑块地址(LBA)范围的数据访问时间是恒定的；而对于使用旋转介质的较旧磁盘，跨越大地址范围的访问模式会招致寻道成本。因此，SSD设备具有更好的延迟和吞吐量。 随着使用的块数接近磁盘容量，性能会下降。 对性能的影响程度因供应商而异。 但是，所有设备都会出现一些性能下降。 为了解决性能下降问题，主机系统（例如，Linux内核）可以使用discard请求来通知存储，不再
HDFS学习笔记（三）：HDFS 分布式文件系统原理
u011047968的专栏
07-27 1444
HDFS 全称是 Hadoop Distribute File System，翻译过来就是 Hadoop 分布式文件系统
DKMS介绍
hjwsm1989的专栏
09-28 7149
概述 DKMS是基于动态内核模块支持的可以让开发者无需使用最新的内核版本而对某个单一的内核模块做升级（比如说是修复bug） DKMS设计目标 1 实现的是机制（如何更新单一的内核模块并且跟踪）而不是策略（何时应该更新一个单一的内核模块），目的在于将两者隔开 2 允许系统管理员清楚地知道哪个模块、哪个版本为哪个内核以什么样的状态使用 3 让模块的源码保持是在顶层的内核树在kernel.
分布式文件系统基础模型
最新发布
06-08
分布式文件系统的基础模型包括： 1. 文件系统客户端：用户通过文件系统客户端访问分布式文件系统中的文件和目录。 2. 文件系统服务器：文件系统服务器是分布式文件系统的核心，负责管理文件和目录，处理客户端的...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值