![](https://img-blog.csdnimg.cn/20201014180756926.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
存储
文章平均质量分 78
Lyon0x
这个作者很懒,什么都没留下…
展开
-
分布式存储问题及解决方案
分布式存储存在的问题分布式存储一般情况下都是靠“副本”来确保数据的安全性和完整性。每块盘记录的数据内容都不一样,当某一块盘出现问题,都需要从其他不同盘内的数据块中进行快速的数据重构。数据重构是需要时间的,如果大量盘同时故障,将会发生什么?另外,OSD的扩容,也会导致数据的迁移,也会影响存储。分布式存储一般都采用副本的方式来确保数据的安全性。写入磁盘前不需要进行额外复杂的计算,就可以将数据写入磁盘,是最快速的方式。是一种空间换时间的方法,即想得到较好的存储性能,就采用副本的方式。当有副本出现丢原创 2021-03-16 19:56:59 · 4078 阅读 · 0 评论 -
ceph架构及 IO流程
CEPH是由多个节点构成的集群,它具有良好的可扩展性和可靠性。节点之间相互通信以达到:存储和检索数据数据复制监控集群的健康状况保证数据的完整性检测故障并恢复基本架构如下图:分布式对象存储系统RADOS是CEPH最为关键的技术,主要由OSD和Monitor组成。CEPH是一个完全无中心架构的计算模式的存储系统。client通过设备映射关系计算出其写入数据的位置,这样client可以直接与存储节点通信,从而避免中心节点的性能瓶颈。很厉害的样子,身为写IO,感...原创 2021-03-03 15:32:17 · 992 阅读 · 1 评论 -
S3 防盗链/跨域访问
跨域资源共享 CORS 详解http://www.ruanyifeng.com/blog/2016/04/cors.htmlorigin对于简单请求,浏览器直接发出CORS请求。具体来说,就是在头信息之中,增加一个Origin字段。下面是一个例子,浏览器发现这次跨源AJAX请求是简单请求,就自动在头信息之中,添加一个Origin字段。GET /cors HTTP/1.1Origin: http://api.bob.comHost: api.alice.comAccep...原创 2020-11-20 09:45:11 · 889 阅读 · 0 评论 -
Kubernetes云原生开源分布式存储
Kubernetes云原生开源分布式存储介绍1 Kubernetes存储介绍1.1 为何引入PV、PVC以及StorageClass?熟悉Kubernetes的都对PV、PVC以及StorageClass不陌生,我们经常用到,因此这里不再详细介绍PV、PVC以及StorageClass的用法,仅简单聊聊为什么需要引入这三个概念。我们看下最早期Pod使用Volume的写法:apiVersion:v1kind:Podmetadata:name:test-podspec:...原创 2020-11-06 16:54:56 · 2169 阅读 · 1 评论 -
存储数据备份架构
备份的发展 备份是指为防止系统出现操作失误或系统故障导致数据丢失,而将全部或部分数据集合从应用主机的硬盘或阵列复制到其它的存储介质的过程。在存储备份技术的发展过程中,衍生了下面几种主流的组网方式,包括Host、LAN、LAN-free、Server-free和Server-less。Host备份方式 最原始的备份技术是在生产服务器上将备份数据直接拷贝至备份介质中,称之为Host备份方式。 点评:Host备份类似将C盘数据备份到D盘,该组...原创 2020-06-08 11:57:17 · 2599 阅读 · 0 评论 -
分布式存储的架构以及存在的问题和解决办法2
今天我们继续来讲讲关于Raid和副本、分布式存储的架构以及存在的问题和解决办法,即下面四至七部分的内容:一、存储类型二、文件系统三、存储介质四、Raid和副本五、分布式存储的架构六、分布式存储存在的问题七、解决的方法四、Raid和副本把磁盘们相同偏移量的一块空间横向进行分割,组成一条逻辑上存储空间。数据是先写满一条条带,再写下一条条带。一个卷可以有很多条条带组成。条带的划分应该的磁盘配置初级就完成。条带包含扇区(或块)的个数叫条带长度;每个磁盘内包含属于这个...原创 2020-05-29 14:15:15 · 5847 阅读 · 0 评论 -
分布式存储的架构以及存在的问题和解决办法1
前言分布式存储存在的风险,其实就是因为“共享”、“大数据量”、“高性能”和X86服务器+廉价的磁盘为载体之间的矛盾所产生的,不是有些读者说的“数据架构”的问题。其实任何存储都存在这个问题,只是分布式存储更严重。本文其实是从主机的网络、磁盘的吞吐角度分析存在的风险,所以和用那个厂家的存储无关。还有人说你是危言耸听,如果按照你说的,这么多人用了分布式存储有这样的地雷岂不是要炸飞?软件定义的东西其实有很多BUG,重要的是能发现问题,事先做好弥补或方案。还有人说,分布式存储用到现在也不超过2年,发生原创 2020-05-29 14:14:57 · 2369 阅读 · 0 评论 -
高端存储架构的前世今生
双控存储架构图中低端存储系统采用的是双控共享访问后端的全部磁盘扩展柜,形成如下图所示的架构:该架构是传统存储系统的关键点之一,正式利用后端共享存储的方式,才使得两个控制器之间才能够在任何一方出现故障,或者某个链路出现问题之后,系统依然可以从另外一条路对硬盘进行访问。低端存储拼价格,中端存储拼功能,那么高端存储拼什么?当然是架构。俗话说,外行看热闹,内行看门道。对于高端存储来说,这个门道就是架构。高性能、高可靠和可扩展性是所有高端存储面临的“三角”难题,也是成为衡量高...原创 2020-05-27 15:47:18 · 953 阅读 · 0 评论 -
高端存储
2019年的CCF已经是举办的第十五届峰会了,对于发展相对较晚的国内IT技术全来说,十五年可以说是一个非常老的峰会了。而在这十五年,CCF也见证了中国高性能计算行业的发展。高性能计算对应的“高端存储”...原创 2020-05-26 20:40:43 · 603 阅读 · 0 评论 -
存储技术-硬盘接口及传输协议
首先,既然将接口与协议,就要明白这三个概念:传输总线,传输接口,传输协议总线,其实就是一条通道,就像公路,公路的大小与车速,决定了公路上的最大车流量,总线的位宽大小与传输频率,决定了在一次数据传输中能提供的最大速度。传输接口,就是平时我们用时要接入的插口,类似公路的不同出入口。传输协议,就是数据传输的方法,不同级别公路会配套实行不同的交通规则,不同接口/总线/设备也就会有不同标准。传输协议限定着硬盘(准确的就是硬盘控制器,常说的主控)与控制器(南桥等)如何传输,每当有数据到达控制...原创 2020-05-23 22:34:55 · 2692 阅读 · 0 评论 -
linux multipath多路径配置文件解读
多路径multipath配置文件详解 默认情况下,multipath已经支持大部分常见的存储型号(可见multipath.conf.defaults),但不同的multipath版本可能都有些不同。这时,建议参考存储的官方文档,但有时候,同一台机器上如果连接了一个以上的存储时,可能默认规则并不完全适用。这时我们可以给特定的存储定制多路径符合的策略。 配置文件的模板默认位于/usr/share/doc/device-mapper-multipath-x.x.x/multipath.conf(x为m原创 2020-05-21 11:43:16 · 4418 阅读 · 0 评论 -
存储数据:文件系统VS数据库系统
一、文件系统与数据库系统的概念及其发展1.文件系统 所谓的文件系统简单地说负责存取和管理文件信息的软件结构。例如电脑的硬盘C、D、E、F盘和可以动的存储设备等。文件系统是操作系统用于明确磁盘或分区上的文件的方法和数据结构,即在磁盘上组织文件的方法。也指用于存储文件的磁盘或分区,或文件系统种类。操作系统中负责管理和存储文件信息的软件机构称为文件管理系统,简称文件系统。 文件系统由三...原创 2019-06-15 17:53:57 · 1620 阅读 · 0 评论 -
硬RAID vs 软RAID
1.什么是 RAID?RAID 是Redundant Array of Independent Disks的简写,意为独立硬盘冗余阵列,简称磁盘阵列。其基本思想就是把多个相对便宜的硬盘组合起来,成为一个硬盘阵列组,使性能达到甚至超过一个价格昂贵、容量巨大的硬盘。由于RAID把多个硬盘组合成为一个逻辑扇区,因此对于电脑来说,只会把它当作一个硬盘或逻辑存储单元。根据选择的版本不同,RAI...原创 2019-06-22 21:55:46 · 808 阅读 · 0 评论 -
FreeNAS 简介
FreeNAS(读音 free·nas [free-næs]),是一款开源免费专门用于构建 NAS(Network Attached Storage) 服务器的专业操作系统。FreeNAS 可以轻松把一台普通的台式机变成存储服务器。它基于 FreeBSD 开发,在 BSD License 授权写一下发布,主要运行在 x86-64 架构的计算上。FreeNAS 支持 Windows,OS X 和 ...原创 2019-06-22 22:08:06 · 8217 阅读 · 0 评论 -
分布式存储技术的对比分析与应用
主流分布式存储技术的对比分析与应用随着数字化转型的深入,海量数据对存储提出了新的要求。传统存储虽然有技术成熟、性能良好、可用性高等优点,但面对海量数据,其缺点也越来越明显:如扩展性差、成本高等。为了克服上述缺点,满足海量数据的存储需求,市场上出现了分布式存储技术。分布式存储系统,通常包括主控服务器、存储服务器,以及多个客户端组成。其本质是将大量的文件,均匀分布到多个存储服务器上。...原创 2019-08-18 22:26:16 · 1928 阅读 · 0 评论 -
Linux文件系统性能调优 参数优化
由于各种的I/O负载情形各异,Linux系统中文件系统的缺省配置一般来说都比较中庸,强调普遍适用性。然而在特定应用下,这种配置往往在I/O 性能方面不能达到最优。因此,如果应用对I/O性能要求较高,除了采用性能更高的硬件(如磁盘、HBA卡、CPU、MEM等)外,我们还可以通过对文件系统进行性能调优,来获得更高的I/O性能提升。总的来说,主要可以从三个方面来做工作:1、Disk相关参数调优2、...原创 2019-08-25 23:23:25 · 3073 阅读 · 0 评论 -
NFS文件系统挂载选项详解
服务器端开启NFS服务后,客户端就可以挂载了。客户端可以像操作本地文件系统一样操作NFS文件系统。客户端在挂载NFS文件系统时可以加一些选项,一般可以指定下列选项。1. soft and hard前面的文章中提到过,客户端和服务器通过RPC机制进行通信,客户端向服务器发送RPC请求,服务器解析RPC请求中的信息进行处理,然后向客户端发送应答消息。RPC请求具有一个超时时间,如果在这个时间内...原创 2019-08-25 23:33:07 · 5042 阅读 · 0 评论 -
NFS服务系统调用过程
NFS服务系统调用过程 /a1232345/article/details/50507524系统调用、POSIX原创 2019-08-26 22:01:40 · 257 阅读 · 0 评论 -
计算机总线结构详解
一. 总线的概念在计算机系统中,不同的子系统必须具有连接彼此的接口,比如,内存和处理器需要通信,处理 器和I/O设备也需要通信。这些工作都是由总线来完成的。总线就是一条共享的通信链路,它用一套线路来连接多个子系统。下图是一个典型的计算机总线示意 图:PCI总线是一种树型结构,并且独立于CPU总线,可以和CPU总线并行操作。PCI总线上可以挂接PCI设备和PCI桥片,PCI总线上只允许有一个...原创 2019-09-07 16:08:39 · 14796 阅读 · 0 评论 -
存储协议详解:总线通道、磁盘接口协议、物理接口
一、总线通道组:1、PCI,SATA表示总线通道传输方式,另外还有PATA,即并口传输方式;2、PCI和PCI-E都为北桥区,区别在于前者并行口,后者为串行口,多通道增强了数据稳定性和传输频率提升(并行的多路复用因干扰性对频率有限制);另外还有PCI-X,不过使用并不广泛;3、PCI-E又分×1、×4、×8、×16和Gen1、Gen2、Gen3,其中×1、×4、×8、×16表示通道数,...原创 2019-09-07 16:18:40 · 4404 阅读 · 0 评论 -
SSD固态硬盘闪存技术详解
传统的机械硬盘(HDD)运行主要是靠机械驱动头,包括马达、盘片、磁头摇臂等必需的机械部件,它必须在快速旋转的磁盘上移动至访问位置,至少95%的时间都消耗在机械部件的动作上。SSD却不同机械构造,无需移动的部件,主要由主控与闪存芯片组成的SSD可以以更快速度和准确性访问驱动器到任何位置。传统机械硬盘必须得依靠主轴主机、磁头和磁头臂来找到位置,而SSD用集成的电路代替了物理旋转磁盘,访问数据的时间及延...原创 2019-09-07 16:24:14 · 4471 阅读 · 0 评论 -
TX后台架构文章系列
运维不迷茫,腾讯运维工程师转型升级之路-腾讯织云产品http://www.greatops.net/?id=240微服务在微信后台的架构实践https://www.cnblogs.com/hofmann/p/7721863.htmlQQ 相册后台存储架构重构与跨 IDC 容灾实践https://www.cnblogs.com/qcloud1001/p/8118833...原创 2019-09-11 22:22:15 · 190 阅读 · 0 评论 -
系统调用、POSIX、C库、系统命令和内核函数
大部分介绍Linux内核的书籍都没有仔细说明系统调用,这应该算是一个失误。内核发展到现在,我们实际需要的系统调用现在已经十分完美,从这个意义上来说,再耗费宝贵的时间去研究系统调用的实现是毫无意义的事情。然而,对于希望能够对内核有更深理解的我们来说,仔细研究少量系统调用仍是十分值得的。这样就有机会初步了解一些概念,并可以趁机详细了解一下内核编程的特点,就像系统调用本身在应用程序和内核间的桥...原创 2019-09-11 22:23:25 · 377 阅读 · 0 评论 -
RAID类型详解
RAID技术是一种多磁盘技术,面对数据的各方面有着两面性的影响,整体来说优点大于缺点的,下面我将详细介绍一下RAID ,简称磁盘阵列技术。一、RAID 概述 1988 年美国加州大学伯克利分校的 D. A. Patterson 教授等首次在论文 “A Case of Redundant Array of Inexpensive Disks” 中提出了 RAID 概念 [1] ,...转载 2019-06-09 16:13:29 · 6066 阅读 · 0 评论