存储之我见
感悟聚集
兴趣于研究分布式存储,和linux内核研究和云平台新技术
展开
-
glusterfs提供块存储方式
glusterfs块存储应用与实践glusterfs提供块存储方式目前glusterfs 提供块存储主要有:通过fuse客户端或api+iSCSI LUNs (project:gluster-block)通过fuse客户端挂载到vm宿主机提供local disk images通过glusterfs api 形式提供 qemu disk images这3种方式都可以实现给虚拟机提供块存储,区别在于第1种io栈要多经过iscsi 协议栈和第2种要经过fuse内核模块,glusterfs api原创 2020-08-20 17:35:28 · 1933 阅读 · 0 评论 -
glusterfs 存储节点损坏恢复总结
概述glusterfs 集群的存储节点损坏是不可避免的,但是对于glusterfs 来说,节点损坏包含系统损坏(因为重做系统需要格式化根目录)即glusterfs 配glusterfs 配置文件丢失,数据盘损坏即对于glusterfs数据盘上的brick数据丢失。本文即描述下glusterfs 存储节点损坏最优的修复方案。恢复方案在概述中我们知道存储节点损坏对于glusterfs 来说其实就分为3种损坏。配置文件丢失在存储节点系统损坏或者/磁盘坏掉等都对于glusterfs 意味着配置文件丢失。原创 2020-06-05 11:54:26 · 4072 阅读 · 0 评论 -
glusterfs dht 层lookup 时lookupeverywhere 分析
glusterfs7 多次扩容后出现重复文件分析背景最近在做glusterfs7版本扩容操作测试的时候,发现偶尔会出现,文件丢失然后再重新创建文件会出现文件重复的现象。具体操作为 从一个节点扩容到10个节点,3副本,添加一个节点操作为probe node–>add-brick–>replace-brick–>rebalance-fix-layout, 添加至10个节点后,删除第1个节点,操作为:replace-brick–>detach node。fuse客户端操作,stat f原创 2020-05-11 17:44:11 · 415 阅读 · 0 评论 -
centos7 glusterfs7.0 源码编译安装
本来是可以参考官网 https://docs.gluster.org/en/latest/Install-Guide/compiling-rpms/ 来进行源码编译安装的,没想到官网只说明了centos6 的,centos7 没说明,故此来记录一下。安装依赖包1.官网文档需要的# sudo yum -y --disablerepo=rhs* --enablerepo=*optional-rp...原创 2020-04-03 18:04:23 · 749 阅读 · 0 评论 -
glusterfs 动态扩容 没那么简单
glusterfs 号称 是不中断业务扩容,意思是在后台做扩容操作的时候不影响客户端的访问。原来一直没有细看这一块代码,最近同事在afr层修改一些代码的时候,遇到问题就是按glusterfs架构思路写的代码,把一些需要记录的信息存放在inode 的ctx里面,然而一做扩容或者其他需要改变graph 树的时候就会出问题,发现设置在inode 里面的ctx 没了,父目录也没有做lookup操作,导致原原创 2015-11-12 21:54:48 · 2363 阅读 · 0 评论 -
关于开源分布式文件系统的性能调优方法
现在开源的文件系统各有优劣,并应用场景不大一样,所以区分一个文件系统的好坏 只能通过不同的应用场景来区分。如果确定了应用场景然后选择分布式文件系统的话,然后就是看性能是否满足要求了。开源的分布式文件系统一般默认配置的话很难达到一个最优性能。下面我就来说一下调优一个文件系统我的方法。1.首先要明白你自己是一个怎么样的配置环境,例如:你一台服务器,能提供多大io,能从你的硬件配置(网卡,磁盘)算出原创 2015-11-13 22:11:10 · 903 阅读 · 0 评论