大数据-硬盘篇

原文链接:http://www.jianshu.com/p/bae681e63b38

版权声明:本文为博主原创文章,未经博主允许不得转载。https://www.jianshu.com/u/c801d8028b0c

      对于大数据集群来说,master和slave一定要使用带RAID固件的磁盘。这类磁盘与消费级磁盘的主要区别是,一旦硬件出错,RAID固件马上失效,因此DataNode进程可以快速知道发生了故障。

      对master节点来说,使用RAID主要是为了保护关键性的文件系统数据,通常配置是RAID1+0或RAID0+1;而对于slave来说,从Hortworks的文章来看并不建议使用RAID模式,而更青睐所谓的JBOD模式。

      RAID比单个磁盘慢,因为RAID受管理开销和流水线写能力的限制,并取决于RAID的等级。通常采用的RAID模式是RAID0,这种数据上的并行操作可以充分利用总线带宽,显著提高磁盘整体存取性能。

      值得一提的是,大数据集群如需做成RAID0,必须是单盘RAID0,因为如果一组磁盘被配置成RAID0阵列,读写操作受限于磁盘阵列中最慢盘片的速度,且一旦一块盘故障,将使得整组都宕机。而JBOD的磁盘操作均独立,因而平均读写速度高于最慢盘片的读写速度。

展开阅读全文
博主设置当前文章不允许评论。

没有更多推荐了,返回首页