Hadoop配置多个硬盘

在Hadoop的文档里明确提出了不需要使用RAID(见http://wiki.apache.org/hadoop/DiskSetup)。hadoop本身的冗余机制使得RAID的冗余机制变得多余了。

并且根据一篇文章《why not use RAID?》的描述:在Yahoo Hadoop Cluster的Benchmark中,测试Gridmix显示使用JBOD相比RAID能提高写性能10%以上。

http://wiki.apache.org/hadoop/FAQ#How_do_I_set_up_a_hadoop_node_to_use_multiple_volumes.3F

修改hdfs-site.xml的dfs.data.dir
<property>
  <name>dfs.data.dir</name>
  <value>/data0,/data1</value>
</property>
在这里我还是要推荐下我自己建的大数据学习交流qq裙:522189307 , 裙 里都是学大数据开发的,如果你正在学习大数据 ,小编欢迎你加入,大家都是软件开发党,不定期分享干货(只有大数据开发相关的),包括我自己整理的一份最新的大数据进阶资料和高级开发教程,欢迎进阶中和进想深入大数据的小伙伴。上述资料加群可以领取
 

  • 1
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
### 回答1: 当Hadoop集群中的服务器硬盘挂载不一致时,可能会导致一些问题和挑战。首先,硬盘挂载不一致意味着不同服务器上存储数据的路径不同,这可能会导致数据的分布不均衡,影响集群的性能和可扩展性。 在Hadoop中,数据存储在分布式文件系统(HDFS)中,通过使用块(block)进行分割和存储。每个块通常默认为128MB大小,而HDFS会将一个文件的块分布在不同的服务器上。如果硬盘挂载不一致,导致某些服务器的存储空间受限,将会导致这些服务器上的块数量较少,而其他服务器上的块数量较多。这意味着某些服务器的负载可能会更重,而其他服务器则可能闲置。 此外,如果硬盘挂载不一致,还可能会导致数据冗余问题。例如,如果某个服务器上的硬盘挂载失败或容量不足,数据将无法正确存储。这将导致数据的丢失或损坏,影响整个集群的可靠性。 为解决这个问题,可以采取以下措施: 1. 标准化硬盘挂载:确保每个服务器上的硬盘挂载点一致,这样可以通过相同的路径来访问数据,避免数据分布不均衡的问题。 2. 数据均衡:使用HDFS中的数据均衡工具来重新平衡存储在各个服务器上的块的数量,确保每个服务器上存储的数据量相近,从而提高整个集群的性能和可扩展性。 3. 数据备份:使用HDFS的数据备份功能,确保每个数据块都有多个副本存储在不同的服务器上。这样,即使某个服务器上的硬盘挂载失败,数据仍然可以从其他服务器上的副本中恢复。 通过采用上述措施,可以减少硬盘挂载不一致所带来的问题和风险,提高Hadoop集群的稳定性和可靠性。 ### 回答2: Hadoop 是一个开源的分布式计算平台,是用于处理和存储大规模数据的解决方案。在 Hadoop 集群中,各个服务器的硬盘挂载情况可能会不一致。 硬盘挂载不一致可能会导致 Hadoop 集群的数据分布和性能出现问题。在 Hadoop 中,每个服务器都有自己的本地磁盘空间,该空间可以用来存储 Hadoop 的数据块。数据块被分布在不同的服务器上以提高数据的冗余性和可靠性。因此,所有服务器都应该具有相同的硬盘挂载配置,以确保数据块的正确分布。 如果 Hadoop 集群中的服务器硬盘挂载不一致,可能会导致以下问题: 1. 数据块的分布不均匀:由于服务器的硬盘挂载不同,可能会导致数据块在某些服务器上过于集中,而在其他服务器上分布过于分散。这会增加数据读取和写入的延迟,降低整个集群的性能。 2. 数据冗余性下降:Hadoop 通过在不同服务器上复制数据块来提高数据的冗余性。如果服务器的硬盘挂载不一致,可能会导致某些数据块没有被正确地复制到其他服务器上,从而降低数据的可靠性。 为了解决这个问题,可以进行以下操作: 1. 标准化硬盘挂载配置:检查所有服务器上的硬盘挂载配置,确保它们都一致。可以使用一致的标准来进行硬盘分区和挂载。 2. 移动数据块:如果已经存在硬盘挂载不一致的情况下,可以通过将数据块从一个服务器移动到另一个服务器来重新平衡数据的分布。这样可以确保数据块在整个集群中分布均匀。 3. 添加额外的存储:如果某些服务器的硬盘空间不足,可以添加额外的存储设备,并将其挂载到集群中的服务器上。这样可以增加服务器的存储容量,提高整个集群的性能和可靠性。 综上所述,Hadoop 3.3.2 在各个服务器硬盘挂载不一致的情况下可能会导致数据分布和性能方面的问题。要解决这个问题,可以标准化硬盘挂载配置,移动数据块来重新平衡数据分布,并添加额外的存储设备来增加存储容量。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值