Hadoop工作节点扩展硬盘空间
接到老板任务,Hadoop集群中硬盘空间不够用,要求加一台机器到Hadoop集群,并且每台机器在原有基础上加一块2T硬盘,老板给力啊,哈哈。
这些我把完成这项任务的步骤和我遇到的问题和解决方法总结一下,分享给大家。
1. 首先,介绍一下用到的基本命令和配置,如果本文的网友时间比较紧,可以直接跳过部分内容,直接看“2. 如何加载新硬盘”部分。
(1)命令fdisk
语法:
fdisk [-b sectorsize] device
fdisk -l [-u] [device...]
fdisk -s partition...
fdisk –v
说明:
-b <sectorsize> 指定每个分区的大小。也可以执行fdisk device(如:fdisk /dev/sdb)后,在系统提示时指定。
-l 列出指定的外围设备的分区表状况。如果仅执行 fdisk -l,系统会列出已知的分区。
-u 搭配"-l"参数列表,会用分区数目取代柱面数目,来表示每个分区的起始地址。
-s <parttion> 将指定的分区的大小输出到标准输出上,单位为区块。
-v 显示fdisk的版本信息。
(2)命令mkfs
语法:mkfs [-V][-t fstype] [fs-options] filesys
说明:
-V 显示简要的使用方法。
-t <fstype> 指定要建立何种文件系统,如:ext3, ext4。
fs 指定建立文件系统时的参数。
-v 显示版本信息与详细的使用方法。
(3)命令mount
语法:
mount [-afFnrsvw] [-t vfstype] [-Llabel] [-o options] device dir
mount [-lhv]
说明:
-a 加载文件/etc/fstab中设置的所有设备。