hadoop2.2平滑增加摘除datanode

原创 2013年12月03日 14:42:18

主要配置文件hdfs-site.xml:

<property>

      <!--要增加的datanode-->
      <name>dfs.hosts</name>
      <value>/app/soft/hadoop/etc/hadoop/hosts</value>
</property>

 

<property>

      <!--要摘除的datanode-->
      <name>dfs.hosts.exclude</name>
      <value>/app/soft/hadoop/etc/hadoop/exclude</value>
</property>

增加节点:

如原集群有3个节点node1,node2,node3,现在要增加node4,那么需要追加node4到/app/soft/hadoop/etc/hadoop/hosts文件:

node1

node2

node3

node4

增加后执行:hdfs dfsadmin -refreshNodes进行节点刷新,这样就能重新加载hosts配置文件,刷新后到新增节点上执行$HADOOP_HOME/sbin/hadoop-daemon.sh start datanode,此时用hdfs dfsadmin -report就会看到新增加的节点已经生效,如果想使数据均衡,那么可以执行hdfs balancer  -threshold 10(注:hdoop1使用命令为:start-balancer.sh –t 10%),即发现磁盘使用率偏差在10%以上的就会进行数据均衡,此过程有点漫长,要有耐心!

 

摘除节点:

如原集群有4个节点node1,node2,node3,现在要将故障节点node2摘除,那么需要再exclude文件中增加node2,执行hdfs dfsadmin -refreshNodes,再到故障节点执行hadoop-daemon.sh stop datanode(如直接停机自然可省略这步).

相关文章推荐

Hadoop 生产环境集群平滑下线节点(datanode/tasktracker or nodemanager)

如题,生产环境下可能会碰到下线服务器需求,强制关闭tasktracker or nodemanager影响的只是作业,但强制下线大于HDFS备份数的datanode就有丢数据的风险了。Hadoop提供...
  • zqfzxm
  • zqfzxm
  • 2015年06月03日 17:09
  • 2062

[Nutch]Hadoop动态增加DataNode节点和TaskTracker节点

在之前的博文有对分布式模式做负载均衡设置,那么这次我们就来说明一下如果动态增加DataNode结点和TaskTracker结点。1. 在host1上增加host4使用如下命令:vi conf/sla...

运行中hadoop增加datanode

向一个正在运行的Hadoop集群中增加几个新的Nodes1. 新节点上部署java/hadoop程序,配置相应的环境变量2. 新节点上增加用户,从master上拷贝id_rsa.pub并配置autho...
  • wf1982
  • wf1982
  • 2011年04月14日 12:26
  • 6889

Hadoop在线水平增加删除datanode

本文讨论的是如何在线水平地增加、删除Hadoop节点

Hadoop中NameNode、DataNode和Client三者之间的通信方式是什么?怎样进行合作?

Hadoop中NameNode、DataNode和Client三者之间的通信方式是什么?怎样进行合作?

Hadoop 之 数据流——客户端与HDFS,namenode和datanode 之间的数据流

1.文件读取 客户端通过调用 FileSystem 对象的 open() 方法来打开想读取的文件,对于 HDFS 来说,这个对象是分布式文件系统(DistributedFileSystem)的一个实例...

Hadoop启动后无法看到DataNode

首先我查看NameNode没有发现错误,开始以为是Uuid的问题,以前碰到过,就是Namenode和Datanode的的Uuid不一致,导致不能识别,之后删除 /dfs/name(NameNode)和...

hadoop的datanode异常结束

集群datanode节点挂掉一个。错误如下: 2013-11-18 02:01:13,730 ERROR org.apache.hadoop.hdfs.server.datanode.DataNod...

hadoop datanode 磁盘坏掉之后的解决办法

之前发了一篇文章: http://blog.csdn.net/lxpbs8851/article/details/17241551 记录的是由于开启了 坏掉磁盘的datanode,导致集群部分功能无法...

hadoop 2 datanode 经常自动挂掉原因

最近在VMware上部署了Hadoop2的集群,
  • cookzrk
  • cookzrk
  • 2014年10月31日 22:39
  • 1552
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:hadoop2.2平滑增加摘除datanode
举报原因:
原因补充:

(最多只允许输入30个字)