云存储
文章平均质量分 63
Yeliang Wu
这个作者很懒,什么都没留下…
展开
-
bcachefs文件系统
重要提示:在决定使用Bcachefs之前,建议仔细考虑该文件系统的实验性质、目前的开发状态以及您的具体需求。尽管在测试和验证中取得了良好的结果,但使用Bcachefs时需要注意实验性和可能的不稳定性。高性能:Bcachefs采用了许多先进的技术和算法,以实现高性能的数据访问。它使用了类似于Btrfs和ZFS的写时复制(Copy-on-Write)技术,提供了快速的读写操作和高效的存储利用率。不成熟的工具和生态系统:随着Bcachefs的普及,与其相关的工具和生态系统的发展可能相对较慢。原创 2023-08-01 09:17:42 · 1299 阅读 · 0 评论 -
Stratis存储
管理系统Stratis原创 2022-06-11 20:30:00 · 273 阅读 · 0 评论 -
VDO(Virtual Data Optimize虚拟数据优化)
VDO(Virtual Data Optimize虚拟数据优化):通过压缩或删除存储设备上的数据来优化存储空间VDO层放置在现有块存储设备例如RAID设备或本地磁盘的顶部。这些块设备也可以是加密设备。存储层(如LVM logic卷和文件系统放置在VDO层的顶部。VDO按以下顺序将三个阶段应用于数据,减少存储设备上的占用空间零区块的排除:在初始化阶段,整块为0的会被元数据记录下来,这个可以用水杯里面的水和沙子混合的例子来解释,使用滤纸(零块...原创 2022-06-11 21:00:00 · 673 阅读 · 0 评论 -
iscsi自动login磁盘
iscsi自动login磁盘原创 2022-06-12 11:45:00 · 1059 阅读 · 0 评论 -
在线扩容系统分区
作者:吴业亮博客:wuyeliang.blog.csdn.net安装gdisk工具。如果您的分区为GPT格式,必须执行此步骤;如果您的分区为MBR格式,请跳过此步骤。yum install gdisk -y安装growpart工具。CentOS 7及以上版本运行以下命令。yum install -y cloud-utils-growpartDebian 9及以上版本、Ubuntu14及以上版本运行以下命令。apt install -y cloud-guest-utils扩容vda1原创 2021-09-23 15:47:13 · 284 阅读 · 0 评论 -
bcache强制刷盘
作者:吴业亮博客:wuyeliang.blog.csdn.net把 cache 上面的数据刷到 back 上面:# echo 0 > /sys/block/bcache0/bcache/writeback_percent值> 40,但仅接受0到40之间的值。如果我设置echo 50 > /sys/block/bcache0/bcache/writeback_percent然后当我读值more /sys/block/bcache0/bcache/writeback_原创 2021-09-23 15:36:02 · 455 阅读 · 0 评论 -
SSD的TRIM原理及实践
作者:吴业亮博客:wuyeliang.blog.csdn.net一、原理TRIM指令是微软联合各大SSD厂商所开发的一项技术,属于ATA8-ACS规范的技术指令。TRIM是告诉NAND闪存固态存储设备要擦除哪些数据的SATA接口指令。当相关页面的数据可以被覆盖时,操作系统会发给SSD一个TRIM指令。SSD控制器等到主机开始删除和再次写入操作的时候,执行安全擦除操作。因为在写入操作过程中不用花时间去擦除原本的数据,写入速度要快得多。Trim指令也叫disable delete notify(禁用删原创 2021-09-23 15:14:07 · 4556 阅读 · 0 评论 -
blktrace+fio实现IO回放
blktrace可以跟踪记录系统分区的IO活动并保存到文件中,主要通过kernel的tracepoint来实现的,fio可以实现对blktrace记录的IO信息文件进行回放。例如可以通过记录vm启动过程的IO,优化缓存算法去优化启动过程。下面记录IO录制的命令以及IO回放的命令。系统分区IO活动录制blktrace依赖于kernel的tracepoint,因此使用blktrace之前需要挂载debugfs文件系统:mount –t debugfs debugfs /sys/kernel/debug原创 2021-04-06 08:40:00 · 1707 阅读 · 0 评论 -
存储IO落盘原理及路径分析
一、IO落盘原理一个I/O请求,从应用层到底层块设备,路径如下图所示:从上图可以看出IO路径是很复杂的。我们将IO路径简化一下:一个I/O请求进入block layer之后,可能会经历下面的过程:• Remap: 可能被DM(Device Mapper)或MD(Multiple Device, Software RAID) remap到其它设备• Split: 可能会因为I/O请求与扇区边界未对齐、或者size太大而被分拆(split)成多个物理I/O• Merge: 可能会因为与其它I/O原创 2020-07-27 14:13:31 · 2842 阅读 · 0 评论 -
【存储缓存-flashcache原理及实践
flashcache,是facebook技术团队开发的新开源项目,主要目的是用SSD硬盘来缓存数据以加速MySQL的一个内核模块。可以看到,它最初是用来做数据库加速,但同时,它也被作为通用的缓存模块而设计,能够用于任何搭建在块设备上的应用程序。一、简介及原理1、工作原理基于Device M......原创 2019-12-24 18:12:22 · 2441 阅读 · 0 评论 -
【存储缓存】bcache原理及实践
bcache是linux内核块设备层的cache。主要是使用SSD盘在IO速度较慢的HDD盘上面做一层缓存,从而来提高HDD盘的IO速率。一个缓存设备(SSD)可以同时为多个后端设备(HDD)提供缓存。既然是缓存,那自然就会想到缓存策略,bcache支持三种缓存策略.....................原创 2019-12-24 18:10:54 · 9150 阅读 · 2 评论 -
基于docker部署glusterfs
作者:【吴业亮】博客:https://wuyeliang.blog.csdn.net/源代码https://github.com/gluster/gluster-containers下载代码# git clone [email protected]:gluster/gluster-containers.git# git checkout branch 分支切换目录cd glust...原创 2019-05-26 15:01:24 · 3661 阅读 · 2 评论 -
linux查看进程占用io方法
作者:【吴业亮】博客:https://wuyeliang.blog.csdn.net/操作系统查看进程占用IO方法一:# iotop -oP命令的含义:只显示有I/O行为的进程方法二:# pidstat -d 1命令的含义:展示I/O统计,每秒更新一次# pidstat -d 1Linux 3.10.0-957.el7.x86_64 (wyl-lab) 05/09/201...原创 2019-05-13 21:31:00 · 3580 阅读 · 0 评论 -
lvm条带化【存储】
作者:【吴业亮】云计算开发工程师 博客:http://blog.csdn.net/wylfengyujiancheng·1、什么是条带化 当多个进程同时访问一个磁盘时,可能会出现磁盘冲突。磁盘系统对访问次数(每秒的IO操作,IOPS)和数据传输速率(读写速率,TPS)有限制。 当达到这些限制时,后面需要访问磁盘的进程就需要挂起等待,这就是磁盘冲突。避免磁盘冲突是优化I/O性能的一个重要目原创 2017-01-16 20:04:26 · 5957 阅读 · 0 评论 -
建立自己的私有云储存服务【ownCloud】
作者:【吴业亮】云计算开发工程师 博客:http://blog.csdn.net/wylfengyujiancheng前言 ownCloud 是一个开源免费专业的私有云存储项目,它能帮你快速在个人电脑或服务器上架设一套专属的私有云文件同步网盘,可以像 Dropbox 那样实现文件跨平台同步、共享、版本控制、团队协作等等。ownCloud 能让你将所有的文件掌握在自己的手中,只要你的设备性能和空原创 2016-12-26 21:18:36 · 6763 阅读 · 4 评论 -
存储多路径实践
作者:【吴业亮】博客:http://blog.csdn.net/wylfengyujiancheng1、安装epel源# yum --enablerepo=epel -y install scsi-target-utils2、修改配置文件/etc/tgt/targets.conf<target iqn.2019-01.test:volume00> # provid...原创 2019-01-06 20:53:44 · 7649 阅读 · 2 评论 -
【云存储】IOPS概念及测试方法
作者:【吴业亮】云计算开发工程师 博客:http://blog.csdn.net/wylfengyujiancheng原创 2016-08-27 20:53:35 · 9460 阅读 · 0 评论 -
CLVM+GFS2文件系统部署实践
作者:【吴业亮】云计算开发工程师 博客:http://blog.csdn.net/wylfengyujianchengGFS2: 全局文件系统第二版,GFS2是应用最广泛的集群文件系统。它是由红帽公司开发出来的,允许所有集群节点并行访问。元数据通常会保存在共享存储设备或复制存储设备的一个分区里或逻辑卷中。CLVM 集群化的 LVM (Clustered LVM,CLVM)是 LVM 的一个原创 2017-11-02 10:31:53 · 10657 阅读 · 4 评论 -
ceph更换硬盘操作步骤
作者:【吴业亮】博客:https://wuyeliang.blog.csdn.net/ceph换盘1、手动删除osd,下面以osd1为例停止服务# systemctl stop ceph-osd@1从crush map中移除osd# ceph osd out osd.1# ceph osd crush remove osd1删除认证信息# ceph auth del osd...原创 2019-04-11 16:17:53 · 3248 阅读 · 0 评论 -
ceph集群pg出现unfound objects处理办法
作者:【吴业亮】博客:https://wuyeliang.blog.csdn.net/在特殊的失败组合下Ceph会警告unfound objects。这意味着存储集群知道有些对象存在,但是却无法找到它的副本。下面的例子说明这是怎么发生的,有1个PG他映射的的OSD是 1和2:OSD 1挂掉OSD 2单独处理一些请求OSD 1运行OSD 1和2重新peering,1上丢失的对象在队列...原创 2019-04-12 13:52:07 · 5813 阅读 · 0 评论 -
ceph集群升级失败后版本回退
作者:【吴业亮】博客:https://wuyeliang.blog.csdn.net/存储升级风险比较大,特别是ceph跨版本升级的时候,我在一个环境将将ceph从K版直接升级到M版,结果认证系统导致整个集群完蛋。下面是最终的回退方法。以下操作是在每个节点上执行创建备份目录# mkdir /data-ceph将ceph配置文件备份到备份目录# cp -a /etc /data-...原创 2019-04-12 14:12:15 · 1285 阅读 · 0 评论 -
ceph集群替换ssd日志盘方法
作者:【吴业亮】博客:https://wuyeliang.blog.csdn.net/一块ssd分3个区,通常给3个osd使用,所以如果ssd日志磁盘坏掉,3个OSD都会受到影响。设置OSD状态为noout,防止数据重新平衡ceph osd set noout停止所有的osd进程systemctl stop ceph-osd@x 日志数据落盘到数据盘ceph-osd...原创 2019-04-12 14:21:43 · 2893 阅读 · 1 评论 -
lvm镜像卷【存储】
作者:【吴业亮】云计算开发工程师 博客:http://blog.csdn.net/wylfengyujiancheng·镜像能够分配物理分区的多个副本,从而提高数据的可用性。当某个磁盘发生故障并且其物理分区变为不可用时,您仍然可以访问可用磁盘上的镜像数据。LVM 在逻辑卷内执行镜像。 系统版本:# cat /etc/centos-releaseCentOS Linux release 7.2原创 2017-01-16 20:12:42 · 4057 阅读 · 1 评论