hadoop学习点滴，积累

1、磁盘篇：

     1）hadoop可以并行使用磁盘，通过配置dfs.data.dir和mapred.data.dir参数

      2）slave节点的服务器磁盘不需要配备RAID，来自Yahoo测试的使用经验，配备RAID磁盘的hadoop集群在I/O整体性能上反而不如不做磁盘RAID的集群。

      3）单块磁盘损坏会造成RAID 0 节点所有磁盘失效，从而造成整个节点不可用，不做RAID时，Hadoop可以跳过损坏的磁盘，其他磁盘仍可正常使用，疑问：单块盘损坏，map读数是不是会不断检测，拖慢整体速度；

      4）条件允许，可以考虑使用可靠性较高的SCSI或SAS磁盘