大数据之Hadoop(hdfs): DataNode通过添加数据盘扩容

1.原由:

在生产环境中，hdfs集群数据量已达到存储的90%，亟需对存储空间进行扩容；

2.方案：

最终确定添加datanoe的存储目录的方案；

3.步骤：

1.第一步：备份hdfs-site.xml配置文件

cp hdfs-site.xml hdfs-site.xml.20190330.bak

2.第二步：添加数据磁盘、格式化，并挂载到/data2目录

#格式化磁盘
mkfs.ext4 /dev/sdb
#挂载磁盘到/data2
mount -t ext4 /dev/sdb /data2
#添加开机挂载
vim /etc/fstab
#最后一行添加：
/dev/sdb  /data2 ext4 defaults  0 0 

3.第三步：创建hdfs数据存储目录

mkdir /data2/hadoop

4.第四步：修改hdfs-site.xml文件（所有节点），增加dfs.datanode.data.dir数据目录（用逗号分隔)

<property>
      <name>dfs.datanode.data.dir</name>
      <value>file:/data1/my_data/dfs-data,/data2/hadoop</value>
</property>

备注：HDFS的DataNode节点保存数据的路径由dfs.datanode.data.dir参数决定，其默认值为file://${hadoop.tmp.dir}/dfs/data，若服务器有多个磁盘，必须对该参数进行修改。
注意：因为每台服务器节点的磁盘情况不同，所以这个配置配完之后，不需要分发

4.补充：

查看生产环境服务器磁盘情况: