分享最近我们团队对GFS脑裂的分析 - 感谢陈方县同学

1         glusterfsreplica脑裂分析 1.1  glusterfs replica io流程 glusterfs通过对replica卷的所有子卷写相同的数据实现冗余功能。当glusterfs的客户端对replica卷有任何写操作(包括数据与元数据)时,glusterfs...

2014-06-12 10:47:26

阅读数 1473

评论数 0

集群存储系统IO路径入口与出口的阀门控制

IO路径是存储系统的数据通道,入口与出口要有可控的阀门机制,有时候入口也是出口,特别是在分布式集群中 脑裂的问题 需要它的支撑。   内核中相关的 点   1. 文件系统VFS层的freeze功能; 2.dm 尤其是MP这块有queue suspend功能;这块在多路径路径全部故障时可以...

2013-10-29 10:59:03

阅读数 926

评论数 0

奇虎360可以干大事

最近又有朋友加入360,恭喜一下,360的管理架构与facebook如出一辙,摘录转载一篇相关的报道吧,我一直看好360,它可以干大事。   http://tech.sina.com.cn/i/2013-09-02/09298698924.shtml 刚刚跨入市值100亿美元俱乐部的奇虎36...

2013-10-29 08:40:39

阅读数 991

评论数 0

阶段总结

分布式集群存储 一定要保证客户应用业务连续正常运行,包括对故障很强的容忍抵抗能力,特别是应用计算节点不能访问存储系统时,也要保证应用业务在故障恢复后立刻恢复运行;openstack/cf+gfs 还是 openstack+ceph, 保证客户服务质量是关键。

2013-10-29 08:36:37

阅读数 681

评论数 0

TaLK理念

一直想说一下这个工作室的理念,其实 也是 自己个人的一种 分享规划,计算机这块 如果与 国外的学校相比,可能课程以及动手这块 还是有差距的,算法 是一个方面,但是我们不能 一头扎在算法、数据结构上,试问 我们经历大学、研究生的学业,真的 熟悉掌握 计算机系统原理吗? 所以 也是以个人的经...

2013-08-27 08:57:14

阅读数 788

评论数 0

应该选择什么样的公司

科技类的公司,个人觉得首先看 公司的战略规划 是否 紧跟当前时代热点方向,同时要有自己的创新 以及 过硬的产品渠道优势。不要太刻意看 公司的 外在品牌,因为 品牌这个概念,需要我们有产品的经验能力才能去判断,需要我们主动去 分析判断 一些可能在我们自己眼中甚至大部分眼中是 低调的公司,这样 才能加...

2013-08-27 08:50:35

阅读数 903

评论数 0

原来如此(glusterfs afr数据不一致问题定位)

接上篇“又忙碌了一个月“,终于定位在本地文件系统xfs的预分配策略上,导致glusterfs afr配置下,文件的预分配块占用的磁盘空间不一致,但是通过进一步md5验证,数据是没问题的,为了进一步确认,在其他机器上再次验证了一下,至少centos6.4的xfs 在不同套本地文件系统下,在长时间写入...

2013-08-07 08:29:26

阅读数 1170

评论数 0

又忙碌了一个月

技术的积累和实战总是充满惊喜,转眼一个月没写博客了,这个要自我提醒一下。 最近一直在深入研究glusterfs 在脑裂情况下的数据不一致问题(需要解决的一个实际生产问题),也对比了一下一直密切跟踪的ceph,再次对 对象存储有了更进一步的认识,还是回到gluster上来吧,核心功能机制在客户端处...

2013-08-02 09:23:15

阅读数 733

评论数 0

glusterfs vs ceph

http://hekafs.org/index.php/2013/01/ceph-notes/

2013-07-03 16:01:28

阅读数 912

评论数 0

rackspace: openstack

Rackspace:开源OpenStack前景堪比Linux Rackspace CEOLanham Napier 市场的分散性导致客户难以选择云计算厂商和合作伙伴,一旦做错决定将不得不转移到新的云上进行重新构建。这对于一些大的公司来说,确实是一个挑战。鉴于上述原因,云需要一个开源的操...

2013-07-02 10:01:19

阅读数 693

评论数 0

辗转相除

辗转相除 辗转相除, 又名欧几里德算法(Euclidean algorithm)乃求两个正整数之最大公因子的算法。它是已知最古老的算法, 其可追溯至前300年。它首次出现于欧几里德的《几何原本》(第VII卷,命题i和ii)中,而在中国则可以追溯至东汉出现的《九章算术》。它并不需要...

2013-06-28 12:45:03

阅读数 673

评论数 0

open-iscsi/scst 追踪四(网络字节序)(转载有修改)

字节序问题 --- Endianness 1.1.      Processers 所有的字节序问题都要追踪到CPU上,不管是GeneralCPU 还是 Special CPU ,CPU决定了存储的字节排列顺序问题,即字节序(Endianness)。 通用CPU领域以intel代表的x86家...

2013-06-28 12:40:18

阅读数 987

评论数 0

The Linux multipath implementation (转)

The Linux multipath implementation Original author : Christophe Varoqui Creation : Feb 2004 Last update : Dec 2010 Introduction The ...

2013-06-28 10:52:26

阅读数 833

评论数 0

open-iscsi/scst 追踪三(scsi总线扫描)

open-iscsi注册为一个scsi host driver,我们需要了解scsi这部分设备扫描的原理,剖析了一下。 1、写在前面        Scsi总线在扫描磁盘设备后生成的盘符与设备通道之间的关系是不固定的,其最主要的原因是设计者考虑到scsi总线在系统中不会静态、唯一存在,会动...

2013-06-28 10:46:51

阅读数 1602

评论数 0

btrfs:B树经典论文(转)

B-Trees: Balanced Tree Data Structures   Table of Contents: Introduction Structure of B-Trees Operations on B-Trees Examples Applica...

2013-06-25 10:40:39

阅读数 1172

评论数 0

grub2分析(转)

想了解操作系统bootloader过程原理的可以看过来,又勾起了一些项目回忆。。。 转: 一. 从开机到OS加载的简要流程:    机器加电,通过bios的0x19功能调用,加载mbr(也就是boot.img)到0x7c00位置,并跳到该地址开始执行boot.img,它会读入...

2013-06-24 12:26:02

阅读数 1831

评论数 0

手稿核心章节技术架构 - md5 位图机制

1   Bitmap实现 1.1 bitmap原理 简单的说,bitmap的工作原理就是使用一个位图,每个位对应md设备的一个数据块,在md设备有数据写入时,设置该数据块对应的位,等待写入完成后,再清除该数据块对应的位。 当需要进行数据同步/恢复时,参照bitmap的位图,只有设置了位对应的...

2013-06-20 10:37:33

阅读数 1119

评论数 0

手稿基础章节素材整理

(完善中。。。) 1. 存储精选 DISK(scsi标准)->RAID->DAS->NAS->SAN 2.系统管理 top/atop/ps/iostat/netstat/filespy iozone/iometer/ltp/postmark ...

2013-06-19 11:07:14

阅读数 633

评论数 0

手稿核心章节技术架构

(完善中。。。) 1. dm-cache io路径数据流 缓存管理机制 2.glusterfs 核心用户态进程通信结构 文件创建、删除、读、写、属性 目录创建、删除 dht剖析 rep剖析 3.md 位图机制 raid5算法(对称方式及rmw...

2013-06-19 10:57:08

阅读数 661

评论数 0

集群存储技术手稿计划 - “大话存储,我来实战”

起草了一篇大纲架构,计划陆续填充内容及实战技术,希望可以逐渐积累成型出一版手稿。 1. 存储基础精炼畅谈学习 1.1 我谈存储 1.2去机房中我们应该看到和熟悉哪些设备 2. 集群存储linux应用管理实战技能 1.1 基本的系统管理操作 1.2 测试技术 ...

2013-06-18 08:59:28

阅读数 853

评论数 0

提示
确定要删除当前文章?
取消 删除
关闭
关闭