hadoop hdfs数据扩容

1.增加节点

当磁盘满了或节点不够处理速度慢了都需要对节点或者通过增加节点的方式进行磁盘扩容,这个时候就需要用到Hadoop扩容机制了

通过如下命令可以查看各节点情况磁盘容量等

> hadoop dfsadmin -report

笔者现在有两个节点两还剩下大约 33GB的容量,我们先向HDFS中写入一些数据(笔者这里写入了9.1GB的数据)

1. > hdfs dfs -mkdir input

2. > hdfs dfs -put /app/install/* input

可以看到已经写入了很多大文件这个时候查询集群状态会发现两个节点从原本的33GB剩余已经缩减到了23GB,因为现在我们只有两个节点选择的备份数量也是2个所以每份文件都会在两个节点中进行存储

首先先进行节点扩容我们的hadoop-1现在只是作为了NameNode现在要把hadoop-1加入DataNode中然后把现在有的数据进行平均负载让hadoop-1也承担一部分文件存储工作

在master节点上修改slaves增加hadoop-1

1. > vim /usr/local/hadoop-2.7.3/etc/hadoop/slaves

2. hadoop-1

在需要增加到集群的节点中指向如下命令

1. > hadoop-daemon.sh start datanode #启动datanode

2. > yarn-daemons.sh start nodemanager #启动yarn

在master节点上执行

1. hadoop dfsadmin -refreshNodes #刷新识别新增加的节点

2. yarn rmadmin -refreshNodes #刷新yarn识别新节点

这个时候在通过 hadoop dfsadmin -report 查看集群状况就可以看到增加了一个节点,但是这个节点暂时没有存储任何的文件需要指向如下命令将文件进行负载均衡

如果不balance，那么cluster会把新的数据都存放在新的node上，但是这样会降低mapred的工作效率 设置平衡阈值，默认是10%，值越低各节点越平衡，但消耗时间也更长

1. start-balancer.sh -threshold 5

2.  

如果拷贝时间非常慢可以通过修改hdfs-site.xml设置balance的带宽，默认只有1M/s

1. > vim /usr/local/hadoop-2.7.3/etc/hadoop/hdfs-site.xml

2. <property>

3. 　　<name>dfs.balance.bandwidthPerSec</name>

4. 　　<value>10485760</value>

5. 　　<description>

6. 　　　　Specifies the maximum amount of bandwidth that each datanode

7. 　　　　can utilize for the balancing purpose in term of

8. 　　　　the number of bytes per second.

9. 　　</description>

10. </property>

2.下线节点

当我们不需要节点或者是需要对节点进维护(比如增加磁盘等操作需要重启)希望能够平滑下线Hadoop提供对应的方式

在NameNode节点中添加（或修改）如下配置项到hdfs-site.xml

1. > vim /usr/local/hadoop-2.7.3/etc/hadoop/hdfs-site.xml

2. <property>

3. <name>dfs.hosts.exclude</name>

4. <value>/usr/local/hadoop-2.7.3/etc/hadoop/dfshosts.exclude</value>

5. </property>

编辑dfshosts.exclude 增加需要下线的节点名称

1. > vim /usr/local/hadoop-2.7.3/etc/hadoop/dfshosts.exclude

2. hadoop-2

在执行下线命令

hdfs dfsadmin -refreshNodes

在通过查看节点就会发现有一个 Decommissioning datanodes 此时任何数据都不会写入到下线的datanode中(下线的节点中有数据的话hadoop复制该datanode block至其他datanode需要一定的下线时间)此时下线的是hadoop-2 , hadoop-2中的块将会被迁移到 hadoop-1中,前已完成之后Decommissioning datanodes将会消失然后就可以关闭hadoop-2中的服务了,如果需要在加入到集群中只需要去除dfshosts.exclude在重新刷新

下线nodemanager也是一样修改l增加如下配置

1. > vim /usr/local/hadoop-2.7.3/etc/hadoop/yarn-site.xml

2. <property>

3. <name>mapred.hosts.exclude</name>

4. <value>/usr/local/hadoop-2.7.3/etc/hadoop/dfshosts.exclude</value>

5. </property>

执行下线命令

yarn rmadmin -refreshNodes

在已经下线的节点就可以正常的关闭 datanode进程

hadoop-daemon.sh stop datanode 

通过 hadoop dfsadmin -report 查看会发现hadoop-2的状态是 Decommissioned 退役状况 这个时候文件不会再写入到hadoop2节点中

3.磁盘扩容

当整个集群存入的数据量慢慢增加磁盘总会不够,此时此刻就需要增加磁盘来解决此类问题

现在我们有3个节点可以查看到如下信息

1. > hdfs dfsadmin -report

2. Configured Capacity: 126421499904 (117.74 GB)

3. Present Capacity: 107068563456 (99.72 GB)

4. DFS Remaining: 81215922176 (75.64 GB)

5. DFS Used: 25852641280 (24.08 GB)

6. DFS Used%: 24.15%

7.  

此时我们给节点2进行磁盘扩容,这里使用的阿里云服务器增加了一块100GB的磁盘挂载到了hadoop-2服务器上 步骤 4：Linux 格式化和挂载数据盘_快速入门_云服务器 ECS-阿里云

1. > df

2. Filesystem 1K-blocks Used Available Use% Mounted on

3. /dev/vda1 41152832 13745964 25293384 36% /

4. /dev/vdb1 103080224 61176 97776220 1% /mnt

多出了一个 /mut 赋予权限

> sudo chown -R hadoop:hadoop /mnt

首先现需要下线hadoop-2节点,下线之后在hadoop-2

1. > su hadoop

2. > hadoop-daemon.sh stop datanode

修改hadoop-2配置文件vim hdfs-site.xml

1. > vim /usr/local/hadoop-2.7.3/etc/hadoop/hdfs-site.xml

2. <property>

3. <name>dfs.datanode.data.dir</name>

4. <value>file:/usr/local/hadoop-2.7.3/tmp/dfs/data,file:/mnt/dfs/data</value>

5. </property>

然后在启动datanode

> hadoop-daemon.sh start datanode

在hadoop-1通过NameNode中查看集群状态

1. > hadoop dfsadmin -report

2. Name: 192.168.1.102:50010 (sunmi-hadoop-2)

3. Hostname: sunmi-hadoop-2

4. Decommission Status : Decommissioned

5. Configured Capacity: 147694649344 (137.55 GB)

6. DFS Used: 9414242304 (8.77 GB)

7. Non DFS Used: 12258566144 (11.42 GB)

8. DFS Remaining: 126021840896 (117.37 GB)

9. DFS Used%: 6.37%

10. DFS Remaining%: 85.33%

11. Configured Cache Capacity: 0 (0 B)

12. Cache Used: 0 (0 B)

13. Cache Remaining: 0 (0 B)

14. Cache Used%: 100.00%

15. Cache Remaining%: 0.00%

16. Xceivers: 1

17. Last contact: Thu Jul 20 11:30:42 CST 2017

18.  

hadoop-2的容量就增加了然后重新让节点上线

1. vim /usr/local/hadoop-2.7.3/etc/hadoop/dfshosts.exclude

2. # 清除

3. hadoop-2

4. # 更新节点

5. > hdfs dfsadmin -refreshNodes

6. > yarn rmadmin -refreshNodes

然后在查看集群状况就增加了100GB的DFS的空间

1. > hadoop dfsadmin -report

2. Configured Capacity: 231975649280 (216.04 GB)

3. Present Capacity: 207191623885 (192.96 GB)

4. DFS Remaining: 176628416512 (164.50 GB)

5. DFS Used: 30563207373 (28.46 GB)

6. DFS Used%: 14.75%

7.