1、磁盘篇:
1)hadoop可以并行使用磁盘,通过配置dfs.data.dir和mapred.data.dir参数
2)slave节点的服务器磁盘不需要配备RAID,来自Yahoo测试的使用经验,配备RAID磁盘的hadoop集群在I/O整体性能上反而不如不做磁盘RAID的集群。
3)单块磁盘损坏会造成RAID 0 节点所有磁盘失效,从而造成整个节点不可用,不做RAID时,Hadoop可以跳过损坏的磁盘,其他磁盘仍可正常使用,疑问:单块盘损坏,map读数是不是会不断检测,拖慢整体速度;
4)条件允许,可以考虑使用可靠性较高的SCSI或SAS磁盘