Hadoop扩容

Linux下 磁盘扩容的两种方式

原地址：https://www.cnblogs.com/yangxiansen/p/7860270.html

Hadoop扩容

概述

Hadoop存储容量或计算能力不能满足日益增长的需求时，就需要扩容。

扩容有两个方案：

1) 增加磁盘

2) 增加节点

方案一：扩大虚拟磁盘

扩大容量

将虚拟的Linux关闭，扩大磁盘容量

 

 

 

将空间增大20G 

 

建立分区

增加空间后Linux并不会识别出新增加的磁盘空间

需要为这块新增的空间建立分区

 

新建分区

打开Linux

fdisk /dev/sda#调整磁盘分区

 

m #进入帮助引导模式

n #新增分区

p #指定新分区为基本分区

一路回车 #但要记住分区号

w #保存并执行刚才的分区操作

reboot #重启

 

查看新增分区

fdisk -l

 

格式化

找到新增加的分区，还记得刚才的分区号吗？

mkfs.xfs /dev/sda9#将数字换成刚才分配的分区号

 

挂载

Linux没有盘符，所以增加分区之后，需将分区映射到某一个文件夹上，以便使用。

 

新建文件夹

如果使用现有文件夹，则文件夹中的文件在挂载后将无法访问

mkdir /newdisk

 

临时挂载

mount /dev/sda9 /newdisk

 

挂载成成功后可以查看挂载情况（没有挂载时用这个命令看不到）

df -lhT

#l表示列出

#h表示使用可读性更好的方式打印磁盘大小

#T表示列出文件类型

 

开机自动挂载

打开 /etc/fstab

增加 /dev/sda9/newdiskxfsdefaults00

 

扩容datanode

配置

在hdfs-site.xml中增加配置项

<property>

<name>dfs.datanode.data.dir</name>

<value>${hadoop.tmp.dir}/dfs/data, /newdisk</value>

</property>

 

/newdisk就是指定datanode使用新增的磁盘作为存储空间！可以指定多个存储位置

注意：将${hadoop.tmp.dir}替换成当前的hadoop临时目录

 

重启

stop-dfs.sh

start-dfs.sh

注意：如果在集群模式下，只需要重启该datanode即可！

 

 

验证

访问Hadoop浏览站点，可以看到该datanode存储空间增加了。

 

 

方案二：新增磁盘

以上适用于虚拟机所在的物理磁盘还有多余空间的情况。而生产环境中，还有一种情况是增加全新的硬盘（相当于买一块新硬盘插到主板上），用虚拟机也能模式出这种情况。

增加新磁盘

 

添加磁盘之后，启动Linux，新磁盘对应的是

/dev/sdb #第一块磁盘是sda，第二块是sdb，第三块是sdc…

然后从上面的【格式化】步骤继续进行就可以了

 

======================================

我的笔记：

centos 磁盘扩容。
df -hT
=============

fdisk /dev/sda  --n   --w  //增加主分区，然后保存退出

reboot

mkfs.ext4 /dev/sda4

mkdir /newpartition

mount /dev/sda4 /newpartition

vi /etc/fstab
dev/sda4(分区)                /newpartition（文件位置）           ext4（磁盘格式）    defaults（未知）        0（未知） 0（未知）

=============== 
df -hT