大数据-硬盘篇

对于大数据集群来说,master和slave一定要使用带RAID固件的磁盘。这类磁盘与消费级磁盘的主要区别是,一旦硬件出错,RAID固件马上失效,因此DataNode进程可以快速知道发生了故障。

      对master节点来说,使用RAID主要是为了保护关键性的文件系统数据,通常配置是RAID1+0或RAID0+1;而对于slave来说,从Hortworks的文章来看并不建议使用RAID模式,而更青睐所谓的JBOD模式。

      RAID比单个磁盘慢,因为RAID受管理开销和流水线写能力的限制,并取决于RAID的等级。通常采用的RAID模式是RAID0,这种数据上的并行操作可以充分利用总线带宽,显著提高磁盘整体存取性能。

      值得一提的是,大数据集群如需做成RAID0,必须是单盘RAID0,因为如果一组磁盘被配置成RAID0阵列,读写操作受限于磁盘阵列中最慢盘片的速度,且一旦一块盘故障,将使得整组都宕机。而JBOD的磁盘操作均独立,因而平均读写速度高于最慢盘片的读写速度。

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值