存储
文章平均质量分 73
liukuan73
这个作者很懒,什么都没留下…
展开
-
闪存的工作原理
转载自:https://zhuanlan.zhihu.com/p/35115499闪存价格节节攀升,让三星大赚特赚。其实它的基本原理在1980年代之后基本就没有变化过。它的构成和场效应管(MOSFET)十分类似:它由:源极(Source)、漏极(Drain)、浮动栅(Float Gate)和控制栅(Control Gate)组成。相对场效应管的单栅极结构,闪存是双栅极结构。浮动栅是由氮化物夹在二氧化硅材料(Insulator)之间构成。我们的写操作(Program)是这样:在控制栅加转载 2021-06-02 16:52:48 · 7715 阅读 · 0 评论 -
Ceph运维告诉你分布式存储的那些“坑”
转载自:https://dbaplus.cn/news-134-2079-1.html作者介绍汪涉洋,来自美国视频网站hulu的工程师,毕业于北京理工大学计算机专业,目前从事大数据基础架构方面的工作。个人知乎专栏“大数据SRE的总结”:http://dwz.cn/7ygSgc过去两年,我的主要工作都在Hadoop这个技术栈中,而最近有幸接触到了Ceph。我觉得这是一件很幸运的事,让我有机会体验另一种大型分布式存储解决方案,可以对比出HDFS与Ceph这两种几乎完全不同的存储系统分别有哪些优.转载 2021-03-10 21:09:34 · 2982 阅读 · 0 评论 -
从理论到实践,异步I/O模式下NVMe SSD高性能之道
https://www.pianshen.com/article/36331904738/转载 2021-03-10 15:04:45 · 266 阅读 · 0 评论 -
磁盘I/O那些事
转载自:https://tech.meituan.com/2017/05/19/about-desk-io.html背景计算机硬件性能在过去十年间的发展普遍遵循摩尔定律,通用计算机的CPU主频早已超过3GHz,内存也进入了普及DDR4的时代。然而传统硬盘虽然在存储容量上增长迅速,但是在读写性能上并无明显提升,同时SSD硬盘价格高昂,不能在短时间内完全替代传统硬盘。传统磁盘的I/O读写速度成为了计算机系统性能提高的瓶颈,制约了计算机整体性能的发展。硬盘性能的制约因素是什么?如何根据磁盘I/O特性来转载 2020-12-09 11:02:39 · 710 阅读 · 0 评论 -
SSD Performance测试简介
转载自:http://www.ssdfans.com/?p=4698SSD Performance测试简介SNIA给Client SSD与Enterprise SSD都制定了Performance test (性能测试)的规范,可以到其网站www.snia.org下载。要进行SSD的Performance Test,首先要理解几个关键概念。FOB:Fresh Out of Box, 指的是刚开封全新的盘,此时SSD的性能类似于悟饭同学的愤怒形态,战斗力爆表但不持久,并不是这块盘在未...转载 2020-10-27 10:56:48 · 2844 阅读 · 0 评论 -
SSD性能怎么测?看这一篇就够了!
转载自:https://www.sohu.com/a/390625596_505795一、概述自从很多年前开始做SSD方面的测试以来,我就和某些行业工作者产生了同感:存储性能测试基本是所有计算机硬件测试里最复杂困难的一项。存储系统的性能受到整个机器其他硬件甚至软件方面的影响:按ssd本身来说,在不同负载(线程数,队列深度,块大小,随机度等)环境下一块盘发挥出的性能大有区别,设置成不同扇区大小性能会不同,在相同情况下测试一段时间盘的性能还会发生FOB-transition-steadystate的转变转载 2020-10-27 10:49:15 · 10937 阅读 · 1 评论 -
NVMe SSD测试为何要先做预处理?
转载自:https://blog.csdn.net/Memblaze_2011/article/details/102478395评估一块NVMe SSD在真实业务场景中的吞吐能力、稳定性、可靠性以及QoS,不仅要考虑压测工具、测试环境选型,还要精心设计测试规范,如此才能准确的获取NVMe SSD在日常运营中的性能表现。预处理就是这样一个在测试中具有重要作用的环节,这篇文章将对NVMe SSD的预处理操作及价值作以说明。aa在NVMe SSD使用初期,空闲资源充足,垃圾回收等操作比较少,因此性能也会转载 2020-10-27 10:44:19 · 1852 阅读 · 0 评论 -
浅谈分布式存储之SSD基本原理
转载自:http://blog.itpub.net/31559758/viewspace-2672806/前言随着制造工艺的不断进步,SSD(Solid State Drive)性能和容量不断突破,价格不断降低,迎来了快速的发展,目前已经是商用服务器、高性能存储服务中非常流行的存储介质。作为开发人员,需要了解SSD的基本原理,以便开发时能更好地发挥其优势,规避其劣势。本文章基于末尾所列参考文献整理而来。目录SSD简介 闪存基础 存储原理 读写流程 GC机制 Trim机制 Bit-转载 2020-10-22 10:48:27 · 1343 阅读 · 0 评论 -
深入浅出全面解析RDMA
转载自:https://blog.csdn.net/qq_21125183/article/details/80563463RDMA(RemoteDirect Memory Access)技术全称远程直接内存访问,就是为了解决网络传输中客户端与服务器端数据处理的延迟而产生的。它将数据直接从一台计算机的内存传输到另一台计算机,无需双方操作系统的介入。这允许高吞吐、低延迟的网络通信,尤其适合在大规模并行计算机集群中使用。RDMA通过网络把资料直接传入计算机的内存中,将数据从一个系统快速移动到远程系统内存中,转载 2020-09-24 16:42:07 · 1258 阅读 · 0 评论 -
【云存储】IOPS概念及测试方法
作者:【吴业亮】转载自博客:http://blog.csdn.net/wylfengyujiancheng一、什么是IOPSIOPS(Input/Output Operations Per Second)是一个用于电脑存储设备(如硬盘(HDD)、固态硬盘(SSD)或存储区域网络(SAN))性能测试的量测方式,可以视为是每秒的读写次数。和其他性能测试一样,存储设备制造商提出的IOPS不保证就是实际应用下的性能。IOPS可以用应用程序来量测,例如一开始由微软开发的Iometer,像IOzone及F转载 2020-08-12 09:53:04 · 4015 阅读 · 0 评论 -
Page Cache的落地问题
转载自:https://www.jianshu.com/p/ed5900d31f1f除非特别说明,否则本文提到的写操作都是 buffer write/write back。起因前几天讨论到一个问题:Linux 下文件 close成功,会不会触发 “刷盘”?其实这个问题根本不用讨论,查一下就知道。man 2 close 的 NOTES 一节里有这么一段话:A success...转载 2020-05-02 09:06:25 · 641 阅读 · 0 评论 -
研究-Buffered IO和Direct IO
转载自:https://blog.csdn.net/batmannolove/article/details/50435597今天在看[《Computer Systems - A Programmer's Perspective》] [4] 时,发现两个名词不是很理解,如下:- write through - write back查了一下,发现其实就是Buffered IO和...转载 2020-05-01 22:13:10 · 702 阅读 · 0 评论 -
宋宝华: 文件读写(BIO)波澜壮阔的一生
转载自微信公众号“Linux阅码场”文章《宋宝华: 文件读写(BIO)波澜壮阔的一生》,原作者:宋宝华前言网上关于BIO和块设备读写流程的文章何止千万,但是能够让你彻底读懂读明白的文章实在难找,可以说是越读越糊涂!我曾经跨过山和大海 也穿过人山人海我曾经问遍整个世界 从来没得到答案本文用一个最简单的read(fd, buf, 4096)的代码,分析它从开始读到读结束,在整个Li...转载 2020-05-01 16:36:06 · 1377 阅读 · 0 评论 -
别让bug跑了,通过问题理解ceph的克隆过程
转载自:https://blog.51cto.com/13973322/23077571 背景 云硬盘的快照、克隆,属于块存储RBD基本功能,之前我并没有太多关注这两块,保证功能能用、好用就过去了。 不过在最近遇到几个与克隆或快照相关联的问题,涉及到rbd clone、rbd flatten等,正好是之前未遇到过,因此找了时间对产生的问题复盘,也是希望借bug观察ceph对...转载 2020-04-28 14:38:04 · 1130 阅读 · 0 评论 -
ceph rbd快照原理解析
转载自:http://www.sysnote.org/2016/02/28/ceph-rbd-snap/前段时间一直在研究ceph的快照以及其所涉及的故障恢复逻辑,ceph在这部分的实现挺精妙的,虽然也是基于COW实现的,但是细细品来,其在快照的元数据管理以及父子关系的维护上有独到之处,本文将详细阐述快照的实现原理以及快照对象在恢复时如何至关重要的作用。1.rbd快照的直观理解ceph...转载 2020-04-27 13:58:23 · 1465 阅读 · 0 评论 -
ceph L版本相对于J版本在scrub机制上做的优化
https://blog.csdn.net/sefaxiaoji/article/details/90139416转载 2020-04-02 19:41:03 · 249 阅读 · 0 评论 -
【存储缓存】-bcache原理及实践
转载:https://blog.csdn.net/wylfengyujiancheng/article/details/103687559转载 2020-01-02 19:29:08 · 939 阅读 · 0 评论 -
海量小文件问题综述
转载自:http://www.taocloudx.com/index.php?a=shows&catid=4&id=15海量小文件LOSF问题是工业界和学术界公认的难题,分析了LOSF问题的由来以及典型的应用场景,并简要阐述了当前文 件系统在LOSF优化方面的进展。重点分析LOSF问题的根本原因,并给出具体的优化方法和策略,期望对LOSF问题的研究和优化实践提供一定的理论指 导...转载 2019-12-10 14:28:01 · 627 阅读 · 0 评论 -
一篇讲透Kubernetes与GlusterFS之间的爱恨情仇
http://rdc.hundsun.com/portal/article/826.htmlhttp://rdcqii.hundsun.com/portal/article/827.html存储是容器编排中非常重要的一部分。Kubernetes从v1.2开始,提供了dynamic provisioning这一强大的特性,可以给集群提供按需分配的存储,并能支持包括AWS-EB转载 2017-11-08 12:35:29 · 14187 阅读 · 1 评论 -
让你真正明白cinder与swift、glance的区别
http://www.aboutyun.com/thread-10060-1-1.html问题导读1.你认为cinder与swift区别是什么?2.cinder是否存在单点故障?3.cinder是如何发展而来的?在openstack中,我们经常遇到这么个问题,cinder与swift的区别是什么?cinder与swift各自的用途是什么?转载 2015-09-18 15:48:32 · 13942 阅读 · 0 评论 -
kubernets使用ceph-rbd作为storageclass并创建pvc和应用
1.Kubernetes StorageClass 介绍Kubernetes 集群存储 PV 支持 Static 静态配置以及 Dynamic 动态配置,动态卷配置 (Dynamic provisioning) 可以根据需要动态的创建存储卷。静态配置方式,集群管理员必须手动调用云/存储服务提供商的接口来配置新的固定大小的 Image 存储卷,然后创建 PV 对象以在 Kubernetes 中请...原创 2018-02-01 16:08:51 · 9513 阅读 · 3 评论 -
CentOS7安装并使用Ceph
1.准备工作1.1 安装配置NTP官方建议在所有 Ceph 节点上安装 NTP 服务(特别是 Ceph Monitor 节点),以免因时钟漂移导致故障。ln -sf /usr/share/zoneinfo/posix/Asia/Shanghai /etc/localtimeyum -y install ntpdsystemctl enable ntpdvim /etc/n...原创 2018-02-01 14:04:10 · 13658 阅读 · 0 评论 -
Walkthrough: Docker Volumes vs Docker Volumes with Flocker
https://clusterhq.com/2015/12/09/difference-docker-volumes-flocker-volumes/We often receive the question “What is the difference between a Docker Volume and a Flocker Volume?”. This post serves as转载 2016-09-06 08:42:41 · 2284 阅读 · 0 评论 -
Can flocker share volume between docker containers?
https://groups.google.com/forum/#!msg/flocker-users/MsrgKzFLVG8/O4NbF4c7JwAJ转载 2016-09-12 11:12:39 · 1518 阅读 · 0 评论 -
如何测试云硬盘
http://webcache.googleusercontent.com/search?q=cache:ngJ5GqGnBCsJ:https://www.ustack.com/blog/how-benchmark-ebs/+&cd=10&hl=en&ct=clnk&gl=hk问题UOS公有云开放以来,一些用户反应用dd命令测试出来的1TB云硬盘的吞吐率(MBPS)只有128M转载 2015-12-05 14:32:24 · 2363 阅读 · 0 评论 -
ubuntu14.04安装ceph
http://ceph.com/docs/master/start/照着文档装就好了,文档写的很好原创 2015-09-17 15:45:26 · 1826 阅读 · 0 评论 -
linux-kernel doc (memory-hotplug)
http://www.mjmwired.net/kernel/Documentation/memory-hotplug.txtBased on kernel version 4.1. Page generated on 2015-06-28 12:13 EST.1 ==============2 Memory Hotplug3 ==============4 5 Created转载 2015-07-25 00:06:30 · 2769 阅读 · 0 评论 -
CentOS 6配置iSCSI网络存储
iSCSI(internet SCSI)技术由IBM公司研究开发,是一个供硬件设备使用的、可以在IP协议的上层运行的SCSI指令集,这种指令集合可以实现在IP网络上运行SCSI协议,使其能够在诸如高速千兆以太网上进行路由选择。iSCSI技术是一种新储存技术,该技术是将现有SCSI接口与以太网络(Ethernet)技术结合,使服务器可与使用IP网络的储存装置互相交换资料。iSCSI是一种基于转载 2015-07-08 14:39:01 · 4389 阅读 · 0 评论 -
存储基本概念(lun,volume,HBA,DAS,NAS,SAN,iSCSI,IPSAN)
1.lunLUN的全称是Logical Unit Number,也就是逻辑单元号,其主要作用是为了给相连的服务器分配逻辑单元号(LUN)。磁盘阵列上的硬盘组成RAID组后,通常连接磁盘阵列的服务器并不能直接访问RAID组,而是要再划分为逻辑单元才能分配给服务器。这是因为SCSI总线上可挂接的设备数量是有限的,一般为8个或者16个,我们可以用Target ID(也有称为SCSI ID的)来描原创 2015-05-05 19:07:46 · 59389 阅读 · 7 评论 -
ceph系统原理 细节 benchmark 不完全说明
ceph系统原理 细节 benchmark 不完全说明转载请说明出处: http://blog.csdn.net/XingKong_678/article/details/514739881 流程说明1.1 应用1) RADOS GW是一个提供与Amazon S3和Swift兼容的RESTful API的gateway,以供相应的对象存储应用开发使用。R转载 2016-09-08 14:29:30 · 2356 阅读 · 0 评论 -
CentOS7上Glusterfs的安装及使用(gluster/heketi)
1.glusterfs安装安装并设置自启动:yum -y install centos-release-glusteryum -y install glusterfs-serversystemctl enable glusterdsystemctl start glusterd配置每台机器hosts:vim /etc/hosts 10.132.47.78 ...原创 2017-11-08 13:16:44 · 9863 阅读 · 0 评论 -
ceph体系结构
http://docs.ceph.org.cn/architecture/Ceph 独一无二地用统一的系统提供了对象、块、和文件存储功能,它可靠性高、管理简便、并且是自由软件。 Ceph 的强大足以改变贵公司的 IT 基础架构、和管理海量数据的能力。Ceph 可提供极大的伸缩性——供成千用户访问 PB 乃至 EB 级的数据。 Ceph 节点以普通硬件和智能守护进程作为支撑点, Ce转载 2018-01-30 17:28:55 · 3703 阅读 · 0 评论 -
银行企业建设容器持久化存储的必要性以及难点剖析
http://www.talkwithtrend.com/Article/2173291. 摘要:随着以docker为代表的容器技术的发展,为应用的开发、测试、运维带来了巨大的便捷。容器技术不仅在互联网企业应用广泛,在传统银行业的IT中也发展迅速。很多银行都在建设以docker为容器技术支撑的PaaS平台,尝试一些新型应用的微服务框架和容器化改造。由于数据对于银行的重要性,不可避免转载 2017-11-14 17:23:28 · 2298 阅读 · 0 评论 -
glusterfs分布式文件系统详细原理
http://blog.csdn.net/yujin2010good/article/details/752688771.Glusterfs简介 GlusterFS是Scale-Out存储解决方案Gluster的核心,它是一个开源的分布式文件系统,具有强大的横向扩展能力,通过扩展能够支持数PB存储容量和处理数千客户端。GlusterFS借助TCP/IP或Infi转载 2017-11-08 11:26:58 · 3686 阅读 · 0 评论 -
Linux 高可用(HA)集群之DRBD详解
http://freeloda.blog.51cto.com/2033581/1275384大纲一、前言二、DRBD 是什么三、DRBD 主要功能四、DRBD 工作原理五、DRBD与HA 集群六、DRBD 复制模式七、DRBD 配置工具八、DRBD 配置文件九、DRBD 资源十、DRBD 支持的转载 2017-11-08 10:50:41 · 2588 阅读 · 0 评论 -
rex-ray 0.7.0支持对接ceph/rbd
https://blog.codedellemc.com/2017/01/27/rexray-ceph/转载 2017-02-08 18:00:20 · 2520 阅读 · 0 评论 -
go-ceph docs
https://godoc.org/github.com/ceph/go-ceph/rbd原创 2016-12-16 17:09:36 · 2603 阅读 · 0 评论