hadoop hdfs节点可用空间扩容

由于数据的日益增长,hdfs可用空间变小导致后面数据无法存入hdfs,而hdfs的数据目录又与所在卷组的空间大小息息相关,本文章将分两个场景去实现扩容,适用于集群搭建时扩容,注意集群应处于关闭状态,来干来干。

  • 场景一: 添加了硬盘后df、vgdisplay均未查看到所增加的可用空间。
  • 场景二: /home所在卷组空闲空间过大。

一.分区追加到卷组实现扩容

实现场景一: 添加了硬盘后df、vgdisplay均未查看到所增加的可用空间,创建分区与物理卷去追加到hdfs数据目录的所在卷组并分配空闲空间。

1.查看所有硬盘分区及状况
[root@bd /] fdisk -l
# 可以看到其中某块硬盘拥有很大的空间,但目前并未使用
磁盘 /dev/sda:429.6 GB, 429603684352 字节,839069696 个扇区
Units = 扇区 of 1 * 512 = 512 bytes
扇区大小(逻辑/物理):512 字节 / 512 字节
I/O 大小(最小/最佳):512 字节 / 512 字节
磁盘标签类型:dos
磁盘标识符:

磁盘 /dev/mapper/centos-root:39.2 GB, 39180107776 字节,86523648 个扇区
Units = 扇区 of 1 * 512 = 512 bytes
扇区大小(逻辑/物理):512 字节 / 512 字节
I/O 大小(最小/最佳):512 字节 / 512 字节

磁盘 /dev/mapper/centos-swap:4160 MB, 4160749568 字节,8126464 个扇区
Units = 扇区 of 1 * 512 = 512 bytes
扇区大小(逻辑/物理):512 字节 / 512 字节
I/O 大小(最小/最佳):512 字节 / 512 字节
2.创建新分区
# 当前所拥有的大容量硬盘
[root@bd /] fdisk /dev/sda
  1. m查看所有操作
  2. 第一步: n (new一个新分区)
  3. 第二步: p (选择主分区, 默认为3)
  4. 第三步: t (修改分区格式, 设置为8e, 该代码对应的分区格式为Linux LVM)
  5. 第四步: p (显示分区信息)
  6. 第五步: w (保存当前分区信息)
  7. reboot
3.创建物理卷
[root@bd /] pvcreate /dev/sda3
Physical volume "/dev/sda3" successfully created.
4.查看卷组
# 查看卷组 
# VG NAME(卷组名)
[root@bd /] pvdisplay
--- Physical volume ---
  PV Name               /dev/sda2
  VG Name               centos
  PV Size               <39.00 GiB / not usable 3.00 MiB
  Allocatable           yes 
  PE Size               4.00 MiB
  Total PE              9983
  Free PE               1
  Allocated PE          9982
  PV UUID               ******-****-****-****-****-****-uR1DPn
   
   # "/dev/sda3" 为我们新创建的物理卷
  "/dev/sda3" is a new physical volume of "<360.10 GiB"
  --- NEW Physical volume ---
  PV Name               /dev/sda3
  VG Name               
  PV Size               <360.10 GiB
  Allocatable           NO
  PE Size               0   
  Total PE              0
  Free PE               0
  Allocated PE          0
  PV UUID               ******-****-****-****-****-****-hG4DT2
5.物理卷追加到卷组
#        卷组名    物理卷
[root@bd /] vgextend centos /dev/sda3 
Volume group "centos" successfully extended
# 查看当前卷组空闲空间
# Free PE
[root@bd /] pvdisplay
--- Volume group ---
  VG Name               centos
  System ID             
  Format                lvm2
  Metadata Areas        2
  Metadata Sequence No  4
  VG Access             read/write
  VG Status             resizable
  MAX LV                0
  Cur LV                2
  Open LV               2
  Max PV                0
  Cur PV                2
  Act PV                2
  VG Size               399.09 GiB
  PE Size               4.00 MiB
  Total PE              102168
  Alloc PE / Size       9982 / 38.99 GiB
  Free  PE / Size       92186 / 360.10 GiB
  VG UUID               ******-****-****-****-****-****-hG4DT2

到此空闲的空间已经追加到了当前hdfs数据目录所在的卷组,接下来就是分配空闲空间。

6. 分配空间
# 分配空闲空间
# 该空间不能大于Free PE(空闲空间)
[root@bd /] lvextend -L +1000G /dev/mapper/centos-root
Size of logical volume centos/root changed from <35.12 GiB (8990 extents) to <394.12 GiB (100894 extents).
  Logical volume centos/root successfully resized.
# 分配所有可用空间
# 可通过-D自定义分配的空间大小
[root@bd /] xfs_growfs /opt
meta-data=/dev/mapper/centos-root isize=512    agcount=4, agsize=2301440 blks
         =                        sectsz=512   attr=2, projid32bit=1
         =                        crc=1        finobt=0 spinodes=0
data     =                        bsize=4096   blocks=9205760, imaxpct=25
         =                        sunit=0      swidth=0 blks
naming   =version 2               bsize=4096   ascii-ci=0 ftype=1
log      =internal                bsize=4096   blocks=4495, version=2
         =                        sectsz=512   sunit=0 blks, lazy-count=1
realtime =none                    extsz=4096   blocks=0, rtextents=0
data blocks changed from 9205760 to 103315456
7. 查看分配的空间
[root@bd /] df -hT /opt
文件系统                 类型      容量  已用  可用 已用% 挂载点
devtmpfs                devtmpfs  3.8G     0  3.8G    0% /dev
tmpfs                   tmpfs     3.9G     0  3.9G    0% /dev/shm
tmpfs                   tmpfs     3.9G   12M  3.8G    1% /run
tmpfs                   tmpfs     3.9G     0  3.9G    0% /sys/fs/cgroup
/dev/mapper/centos-root xfs       395G  9.7G  385G    3% /
/dev/sda1               xfs      1014M  189M  826M   19% /boot
tmpfs                   tmpfs     781M     0  781M    0% /run/user/0

分配完成,启动集群查看当前节点DataNode的磁盘可用容量


二.压缩并分配磁盘空间

实现场景二: 因/home所在卷组空闲空间过大, 故压缩该卷组空间用于扩容。(这里重复的命令我就不多次显示结果了,懒_(´ཀ`」∠ )_,

☆ 注意本方法会格式化home,请谨慎操作,如果误操作重要文件要是没了,我这里也没有

1.查看磁盘空间
[root@bd /] df -hl
文件系统                   容量   已用  可用  已用% 挂载点
devtmpfs                 7.7G     0  7.7G    0% /dev
tmpfs                    7.7G     0  7.7G    0% /dev/shm
tmpfs                    7.7G  9.3M  7.7G    1% /run
tmpfs                    7.7G     0  7.7G    0% /sys/fs/cgroup
/dev/mapper/centos-root  100G   33G   67G   33% /
/dev/sda2               1014M  226M  789M   23% /boot
/dev/sda1                200M   12M  189M    6% /boot/efi
tmpfs                    1.6G     0  1.6G    0% /run/user/0
/dev/mapper/centos-home  1.2T  5.9G  1.1T    1% /home
[root@bd /] cat /etc/fstab | grep centos-home
# 该文件系统是xfs
##                              类型
/dev/mapper/centos-home /home   xfs   defaults     0 0
2. 挂载/home目录
# centos-home非固定名称
[root@bd /] umount /dev/mapper/centos-home

如果显示/dev/mapper/centos-home忙,请kill掉访问home的所有进程,然后切换到其他目录

3. 压缩home所在卷
# 这里将home减少1000G空间
[root@bd /] lvreduce -L -1000G /dev/mapper/centos-home
# 查看是否压缩成功
# Free  PE 显示空闲的空间, 若很大说明成功了
[root@bd /] vgdisplay
4. 格式化/home
[root@bd /] mkfs.xfs /dev/mapper/centos-home -f
5. 恢复挂载/home
[root@bd /] mount /home
6. 分配空间
# 分配空闲空间
# 该空间不能大于Free PE(空闲空间)
[root@bd /] lvextend -L +1100G /dev/mapper/centos-root
# 分配所有可用空间
# 可通过-D自定义分配的空间大小
[root@bd /] xfs_growfs /opt
7. 查看分配的空间
[root@bd /] df -hT /opt
文件系统                 类型    容量  已用  可用   已用% 挂载点
/dev/mapper/centos-root xfs   1.2T   33G  1.1T    1%   /

分配完成,启动集群查看当前节点DataNode的磁盘可用容量


到此两种场景的扩容方法就结束了,如果有什么不对的地方的话,小点声

  • 1
    点赞
  • 6
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值