Hadoop:为什么RAID-0不行?

Hadoop:为什么RAID-0不行?

发表于 2013-01-21 11:425368次阅读| 来源 Hortonworks19 条评论| 作者 郭雪梅
allowtransparency="true" frameborder="0" scrolling="no" src="http://hits.sinajs.cn/A1/weiboshare.html?url=http%3A%2F%2Fwww.csdn.net%2Farticle%2F2013-01-21%2F2813842-why-not-RAID0-in-hadoop&type=3&count=&appkey=&title=%E5%9C%A8Hadoop%E9%82%AE%E4%BB%B6%E5%88%97%E8%A1%A8%E4%B8%AD%EF%BC%8C%E7%BB%8F%E5%B8%B8%E7%9C%8B%E5%88%B0%E6%9C%89%E4%BA%BA%E5%9C%A8%E9%97%AE%E2%80%9C%E4%B8%BA%E4%BB%80%E4%B9%88Hadoop%E6%9B%B4%E9%9D%92%E7%9D%90%E4%BD%BF%E7%94%A8%E4%B8%80%E7%BB%84%E5%8D%95%E7%8B%AC%E7%9A%84%E7%A1%AC%E7%9B%98%EF%BC%88JBOD%EF%BC%89%E8%80%8C%E4%B8%8D%E4%BD%BF%E7%94%A8%E9%80%9A%E8%BF%87RAID-0%E7%A3%81%E7%9B%98%E9%98%B5%E5%88%97%E7%AE%A1%E7%90%86%E7%9A%84%E4%B8%80%E7%BB%84%E7%A1%AC%E7%9B%98%EF%BC%9F%E2%80%9D%E6%9D%A5%E8%87%AAHortonworks%E7%9A%84%E4%B8%A4%E4%BD%8D%E4%B8%93%E5%AE%B6%E7%AC%AC%E4%B8%80%E6%AC%A1%E6%98%8E%E7%A1%AE%E8%A7%A3%E9%87%8A%E4%BA%86%E8%BF%99%E4%B8%AA%E9%97%AE%E9%A2%98%E3%80%82&pic=&ralateUid=&language=zh_cn&rnd=1436756786116" width="22" height="16"> 摘要:在Hadoop邮件列表中,经常看到有人在问“为什么Hadoop更青睐使用一组单独的硬盘(JBOD)而不使用通过RAID-0磁盘阵列管理的一组硬盘?”来自Hortonworks的两位专家第一次明确解释了这个问题。

在Hadoop邮件列表中,一个经常出现的问题是“为什么Hadoop更青睐使用一组单独的硬盘(JBOD)而不使用通过RAID-0磁盘阵列管理的一组硬盘?


注:在Hadoop集群中,有一个建议:在配置时,将每个磁盘都分开。有人形象地将之称为“JBOD(Just a Box of Disks)。”


于是,有了以下这篇文章。摘自Hortonworks的两篇文章,第一篇是Steve Loughran所撰写的《Why not RAID-0? It’s about Time and Snowflakes》,第二篇是对Greg Bruno博士(工程副总裁及StackIQ联合创始人)的一个采访《Proper Care and Feeding of Drives in a Hadoop Cluster: A Conversation with StackIQ’s Dr. Bruno》。两篇文章从不同角度论证为什么Hadoop更青睐JBOD而不是RAID-0。

RAID-0又称为Stripe或Striping,其原理是把连续的数据分散到多个磁盘上存取,这样,系统有数据请求就可以被多个磁盘并行的执行,每个磁盘执行属于它自己的那部分数据请求。这种数据上的并行操作可以充分利用总线的带宽,显著提高磁盘整体存取性能。多年应用下来,RAID-0优势很明显。

但Steve Loughran认为,其并不适合Hadoop。

与RAID-0阵列的同组管理相比,Hadoop更喜欢一组单独磁盘。在Hadoop集群中,读取速度是最能体现性能的重要指标。在Steve Loughran文章中,尤其强调了这一点,他还指出,由于驱动器速度显著不同,RAID-0读取速度往往取决于阵列中最慢的一块磁盘。很多时候,RAID-0配置读取速度甚至会比non-RAID更慢。更大的问题是可靠性。如果一组磁盘被配置为RAID-0阵列,一旦一个磁盘出现故障,将使得整组都宕机。如果所有磁盘都在一个节点中,那么势必会影响整个节点的数据都出现问题。所以,如果配置多个RAID-0阵列,那么单故障发生时,整体系统出问题的概率得到了无限放大。

更多技术细节可以查看:Why not RAID-0? Hadoop Cluster

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值