FileSystem
哲米
深挖程序世界的各种疑难杂症
展开
-
分布式文件存储(NAS)应用和设计
原创 2022-01-09 17:13:43 · 1399 阅读 · 0 评论 -
NFS协议介绍(NAS)
第一次使用分布式客户端服务器模式的计算的其中一个领域是分布式文件系统。在这样一个环境中,有许多客户机和一个服务器(服务器或者更多),服务器将数据保存在它的本地磁盘上,客户机通过组织良好的协议消息来获取数据。正如上面图片中看到的,服务器有磁盘,客户机发送消息来获取它们需要的目录和文件。为什么我们要使用这种很麻烦的布局呢?(比如,为什么不直接使用客户机的本地磁盘呢?)主要的原因是这种布局使得在客户机之间的数据共享更加容易。比如,如果你访问Client 0上的一个文件,然后你使用Client 2,你会看到转载 2020-09-15 11:07:16 · 4072 阅读 · 0 评论 -
Ceph介绍及原理架构分享
1. Ceph架构简介及使用场景介绍1.1 Ceph简介Ceph是一个统一的分布式存储系统,设计初衷是提供较好的性能、可靠性和可扩展性。Ceph项目最早起源于Sage就读博士期间的工作(最早的成果于2004年发表),并随后贡献给开源社区。在经过了数年的发展之后,目前已得到众多云计算厂商的支持并被广泛应用。RedHat及OpenStack都可与Ceph整合以支持虚拟机镜像的后端存储。1.2 Ceph特点高性能 a. 摒弃了传统的集中式存储元数据寻址的方案,采用CRUSH算法,数据分布均转载 2020-07-15 10:10:28 · 200 阅读 · 0 评论 -
Google三大论文之 - GFS
摘要我们设计并实现了 Google GFS 文件系统,一个面向大规模数据密集型应用的、可伸缩的分布式文件系统。 GFS 虽然运行在廉价的普遍硬件设备上,但是它依然了提供灾难冗余的能力,为大量客户机提供了高性能的服务。虽然 GFS 的设计目标与许多传统的分布式文件系统有很多相同之处,但是,我们的设计还是以我们对自己的应用的负载情况和技术环境的分析为基础的,不管现在还是将来,GFS 和早期的分布式文件系统的设想都有明显的不同。所以我们重新审视了传统文件系统在设计上的折衷选择,衍生出了完全不同的设计思路。原创 2020-06-27 16:10:46 · 554 阅读 · 0 评论 -
Google三大论文之 - BigTable
1 摘要Bigtable 是一个分布式的结构化数据存储系统,它被设计用来处理海量数据:通常是分布在数千台普通服务器上的 PB 级的数据。Google 的很多项目使用 Bigtable 存储数据,包括 Web 索引、Google Earth、Google Finance。这些应用对 Bigtable 提出的要求差异非常大,无论是在数据量上(从 URL 到网页到卫星图像)还是在响应速度上(从后端的批量处理到实时数据服务)。尽管应用需求差异很大,但是,针对 Google 的这些产品,Bigtable 还是原创 2020-06-27 12:08:57 · 1258 阅读 · 0 评论 -
分布式专题 - LevelDB
LSMT是一个在分布式系统当中应用非常广泛,并且原理直观简单的数据结构。在上一篇文章当中我们进行了详细的讨论,有所遗忘或者是新关注的同学可以点击下方的链接回顾一下上一讲的内容。leveldb简介上一篇的内容我们介绍的算是最基础版本的LSMT,在这一篇当中,我们来具体看下levelDB这个经典的KV数据库引擎当中LSMT的使用以及优化。leveldb,既然是叫做db,显然和数据库有关。和一般的关系型数据库不同,它内部的数据全部以KV也就是key-value形式存储,并且不支持结构化的SQL进行数据转载 2020-06-18 21:00:15 · 1117 阅读 · 1 评论 -
分布式文件系统的性能测试方法
现代分布式文件系统普遍具有高性能、高扩展、高可用、高效能、易使用、易管理等特点,架构设计的复杂性使得系统测试也非常复杂。从商业产品ISILON, IBRIX, SONAS, Filestore, NetApp GX, Panasas, StorNext, BWFS, Loongestor,到开源系统Lustre, Glusterfs, Moosefs,如何对这些分布式文件系统进行测试评估并选择最适...转载 2020-03-08 09:05:12 · 1910 阅读 · 0 评论 -
FIO磁盘压测工具
FIO作为网络文件系统和磁盘的压测工具,多用于机型验证和文件系统的性能对比,本工具可以自动的分发fio命令到集群的机器列表,搜集小文件的iops和大文件的吞吐。参数说明rw=[mode]rwmixwrite=30 在混合读写的模式下,写占30%moderead 顺序读write 顺序写readwrite 顺序混合读写randwrite 随机写randread 随机读ran...原创 2019-08-15 23:11:21 · 853 阅读 · 0 评论 -
文件系统测试工具 - Vdbench(5.04.06)
Vdbench是一个由Oracle基于Java语言开发的I/O负载性能测试工具,适用于Windows/Linux平台的磁盘和网络文件系统。1术语General, Host Definition (HD), Replay Group (RG), Storage Definition (SD), Workload Definition (WD) and Run Definition (R...原创 2019-09-17 15:45:36 · 3025 阅读 · 0 评论 -
NFS的问题集锦
1. What is a "silly rename"? Why do these .nfsXXXXX files keep showing up?A. Unix applications often open a scratch file and then unlink it. They do this so that the file is not visible in the file s...原创 2019-11-27 16:35:23 · 403 阅读 · 0 评论 -
glusterfs:优秀开源分布式存储系统
分布式存储已经研究很多年,但直到近年来,伴随着谷歌、亚马逊和阿里等互联网公司云计算和大数据应用的兴起,它才大规模应用到工程实践中。如谷歌的分布式文件系统GFS、分布式表格系统google Bigtable,亚马逊的对象存储AWS,阿里的TFS等都是很好的代表,同时也催生了一大批优秀的开源分布式存储系统,包括ceph、swift、Lustre和glusterfs等。分布式存储系统分布式存储按...转载 2019-11-27 16:16:29 · 758 阅读 · 0 评论 -
NFS4文件锁机制探秘
简介NFS4实现“租赁锁”。每个锁拥有一样的“租赁期”。客户端的读写操作将刷新“租赁期”。租赁期到期后,锁将被服务器释放。NFS4通过下述“模型”实现对锁的管理:1)清晰地划分客户端和服务器;2)可靠的锁的一致性检测机制3)简单可靠的锁状态恢复机制几个概念Client--客户端是访问NFS服务器的资源的实体。客户端是包含直接访问NFS服务器的一个应用程序。客户端可...转载 2019-10-07 12:26:28 · 826 阅读 · 0 评论 -
NFS-Ganesha
NFS-Ganesha是一个用户态的支持NFS协议(NFSv3/NFSv4,NFSv4.1)的文件服务器,它为Unix和类Unix的操作系统提供了FUSE(Filesystem in Userspace)兼容的接口FSAL(File System Abstraction Layer)。这样用户通过NFS Client可以访问自己的存储设备。NFS-Ganesha 服务允许用户通过FSAL在用户态...原创 2019-09-24 16:28:04 · 5936 阅读 · 0 评论 -
网络文件系统
NFS 文件系统概述 NFS(Network File System,网络文件系统)是一种基于网络的文件系统。它可以将远端服务器文件系统的目录挂载到本地文件系统的目录上,允许用户或者应用程序像访问本地文件系统的目录结构一样,访问远端服务器文件系统的目录结构,而无需理会远端服务器文件系统和本地文件系统的具体类型,非常方便地实现了目录和文件在不同机器上进行共享。 N...转载 2019-09-20 16:52:23 · 1924 阅读 · 0 评论 -
NFS Cmds
mount -t nfs -o [options] remote:/nfs /mount1. 检测挂载参数# nfsstat -m/home/admin/qbli from 10.25.54.164:/Flags: rw,relatime,vers=3,rsize=1048576,wsize=1048576,namlen=255,hard,nolock,proto=tcp,port=...原创 2019-08-27 16:10:08 · 750 阅读 · 0 评论