[置顶] 【目录】Ext4专题文章索引

Ext4专题目录本索引主要记录Ext4学习过程中的原理分析、代码理解。与大家分享交流,email: lewiyon@126.com原理分析与代码理解...
阅读(231) 评论(0)

[置顶] 【目录】Ceph专题文章索引

本索引主要记录Ceph学习过程中的原理分析、代码理解、或实践操作笔记。与大家分享交流...
阅读(198) 评论(0)

[置顶] 【整理】Python编码规范指导

Guido的关键点之一是:代码更多是用来读而不是写。本指南旨在改善Python代码的可读性,即PEP 20所说的“可读性计数"(Readabilitycounts)。 风格指南强调一致性。项目、模块或函数保持一致都很重要。 、...
阅读(301) 评论(2)

【分析】CephFS quota的支持

CephFS 允许给系统内的任意目录设置配额,这个配额可以限制目录树中这一点以下的字节数或者文件数。...
阅读(87) 评论(0)

【实践】通用文件系统的quota时间

Quota即限额的意思,用来限制用户、组、文件夹的空间使用量。...
阅读(99) 评论(0)

【分析】RBD Mirroring - 原理、概念、命令

RBD Mirroring - 原理、概念、命令​ Ceph采用的是强一致性同步模型,所有副本都必须完成写操作才算一次写入成功,这就导致不能很好地支持跨域部署,因为如果副本在异地,网络延迟就会很大,拖垮整个集群的写性能。因此,Ceph集群很少有跨域部署的,也就缺乏异地容灾。​ Mirror通过柯林斯词典翻译”镜子、写照、映照、反射”等含义,在ceph集群语音中,mirro...
阅读(87) 评论(0)

【分析】Ceph and RBD Mirroring:Luminous

高可用是一个应用程序的关键能力。理想情况下,应用程序本身是支持高可用的。正由于此,RBD mirroring也需要支持高可用。我们可能在任意数量的机器上运行任意数量的守护进程,将有专门的线程来负责如何分布负载和镜像...
阅读(76) 评论(0)

【实践】基于Ceph打造高性能高可靠的分布式块存储系统

分布式存储有出色的性能,可以扛很多故障,能够轻松扩展,所以我们使用Ceph构建了高性能、高可靠的块存储系统,并使用它支撑公有云和托管云的云主机、云硬盘服务。 由于使用分布式块存储系统,避免了复制镜像的过程,所以云主机的创建时间可以缩短到10秒以内,而且云主机还能快速热迁移,方便了运维人员对物理服务器上硬件和软件的维护...
阅读(112) 评论(0)

【分析】云硬盘的Burst功能

云计算把计算、存储、网络资源进行池化,这样多个租户就可以同时使用这些资源,那么如何保证所有的租户可以公平的使用这些资源,互不影响?如何保证整个云平台不会过载呢?最好的办法是能够限制租户对各种资源的使用,保护资源池(性能和容量)不被耗尽。...
阅读(66) 评论(0)

【分析】CRUSH数据分布算法介绍

随着大规模分布式存储系统(PB级的数据和成百上千台存储设备)的出现。这些系统必须平衡的分布数据和负载(提高资源利用率),最大化系统的性能,并要处理系统的扩展和硬件失效。ceph设计了CRUSH(一个可扩展的伪随机数据分布算法),用在分布式对象存储系统上,可以有效映射数据对象到存储设备上(不需要中心设备)。因为大型系统的结构式动态变化的,CRUSH能够处理存储设备的添加和移除,并最小化由于存储设备的的添加和移动而导致的数据迁移。...
阅读(61) 评论(0)

【分析】虚拟机IO QoS——mClock算法介绍

这里介绍VMware在2010年在OSDI发表的一篇论文mClock: handling throughput variability for hypervisor IO scheduling论文中实现的算法。该算法在最近才在分布式存储ceph项目得到开发和应用。在云计算平台中,保证I/O的服务质量(QOS),对于虚拟机的稳定性至关重要。所谓QOS,其实是指对虚拟机使用I/O资源的界定参数,比如比...
阅读(110) 评论(0)

【分析】Ceph系统架构与基本概念

Ceph是一种为优秀的性能、可靠性和可扩展性而设计的统一的、分布式存储系统。“统一”表示Ceph一套存储系统可以同时提供对象存储、块存储和文件系统存储三种功能,以便在满足不同应用需求的前提下简化部署和运维。“分布式”表示Ceph系统是真正的无中心结构和没有理论上限的系统规模可扩展性,在实践当中,Ceph可以被部署于上千台服务器上。...
阅读(358) 评论(0)

【分析】Ceph文件系统修复机制cephfs-data-scan(3)

ceph-data-scan是通过函数data_scan.main(args)解析并执行用户命令的。data_scan.main(args)的参数检查和解析及其ceph-data-scan init的执行过程;本章节主要介绍cephfs-data-scan scan_extents --force-pool 的实现过程...
阅读(254) 评论(0)

【分析】Ceph文件系统修复机制cephfs-data-scan(2)

前述章节已经介绍过,ceph-data-scan是通过函数data_scan.main(args)解析并执行用户命令的。本章节主要介绍data_scan...
阅读(445) 评论(0)

【分析】Ceph文件系统修复机制cephfs-data-scan(1)

一般文件系统采用的fsck命令来维护文件系统一致性,但是fsck对cephfs的难度是非常大的,主要原因在于其机制存在根本的区别: 1. cephfs修复的是一个rados集群数据而非一块磁盘设备; 2. 需要精确的识别数据的所有数据片,及这些数据片所属的inode 3. 大量的元数据不可能全部保存到内存中 4. 数据丢失原因可能在于(1)系统bug导致;(2)由于RADOS同步的灾难性故障——可能到时大量数据丢失;(3)bit位翻转(bitrot)...
阅读(381) 评论(0)

【分析】一般文件系统的fsck机制

在使用文件系统作为载体存储文件数据的过程,由于异常掉电或者其他硬件异常错误,总有可能使得文件系统数据不一致,导致文件系统的文件数据无法访问,或者用户访问到不一致的数据,产生更大的损失。 因此,为了检查和维护文件系统一致性,绝大部分linux文件系统都提供了fsck工具或类似的工具,便于文件系统存储使用者能够处理和修复文件系统不一致问题。 在通用文件系统中,基本都是采用fsck检查和维护文件系统的一致性...
阅读(274) 评论(0)

【分析】Ceph数据一致性检查 - Scrub调优

除了使用对象多副本,Ceph还通过Scrub 归置组(PG)来保证数据的完整性。在对象存储层,Ceph Scrub类似于fsck。针对每一个归置组(PG),OSD比较主副本和从副本,确保没有对象丢失和错误,捕获 OSD 缺陷和文件系统错误。OSD也能执行Deep Scrub:一般一周一次,通过读取数据和使用校验码来保证数据完整性,可以捕捉那些在轻度清洗过程中未能发现的磁盘上的坏扇区。。...
阅读(330) 评论(0)

【分析】Ceph数据一致性检查 - Scrub的执行

[Ceph分析]数据一致性检查 - Scrub的调度...
阅读(266) 评论(0)

【分析】Ceph数据一致性检查 - Scrub的调度

1.1   Scrub的调度解决一个PG何时启动Scrub扫描机制。主要有以下方式:1. 手动立即启动执行扫描2. 在后台设置一定的时间间隔,按照时间间隔的时间启动。默认时间为一天执行一次。3. 设置启动的时间段。一般设定一个系统负载较轻的时间段。 数据结构在类OSDService里有与Scrub有关的数据结构(文件src\osd\OSD.h)private:  // -- scrub sched...
阅读(503) 评论(0)

【分析】Ceph数据一致性检查 - Scrub的介绍

Ceph实现了Scrub机制,采用一种通过后台扫描的方案来解决ceph数据一致性的问题。...
阅读(638) 评论(0)

【分析】Ceph数据一致性检查 - 端到端的数据校验

何谓端到端的数据校验?是指应用层在写入数据时,在经过每个数据模块时,都计算并增加一个校验和信息,并将这些校验和信息和数据块一起发送至磁盘。磁盘在接收到数据包之后,会重新校验信息,并和接收到的校验信息做对比。如果不一致,就认为在IO路径上发生了错误。同样在数据读取时,应用层在获取数据块和从磁盘读取到校验信息后,也需要再次校验一致性...
阅读(585) 评论(0)
349条 共18页1 2 3 4 5 ... 下一页 尾页
    个人资料
    • 访问:484790次
    • 积分:7607
    • 等级:
    • 排名:第2964名
    • 原创:267篇
    • 转载:72篇
    • 译文:10篇
    • 评论:72条
    个人信息
    通过CSDN咨询问题:2244039933
    通过CSDN咨询问题:lewiyon@126.com
    博客专栏
    最新评论