所有文件放在VirtualBox虚拟机中,项目中在HDFS存的数据文件已满,增加磁盘扩容
将新增的磁盘挂载到/root/work路径步骤:
1. 添加新硬盘
设置 -> Storage -> SATA控制器->右击,选择“添加虚拟硬盘”
然后,根据需求创建合适的硬盘
2. 重启虚拟机
查看现有的磁盘空间
sudo fdisk -l
可看到新加的虚拟硬盘,一般名为:Disk /dev/sdb
3. 给新加的硬盘
sudo fdisk /dev/sdb
# 键入m,可看到帮助信息
command (m for help):m
# 增加新分区
command (m for help):n
# 选择基本分区,输入:p
# 建一个分区
Partition number(1-4):1
# 回车
First cylinder (1-15908,default 1):Enter
Enter,Enter
# 写入并退出
command (m for help):w
4. 格式化磁盘分区
# 用ext4格式对/dev/sdb1进入格式化
sudo mkfs.ext4 /dev/sdb1
5. 挂载分区
创建新的挂载点
mkdir /home/hadoop/hdfsdata
将新磁盘分区挂载到/work目录下
sudo mount -t ext4 /dev/sdb1 /home/hadoop/hdfsdata
查看挂载
df -h
可以看到新加的硬盘:/dev/sdb1
6. 开机自动挂载
修改文件
sudo vim /etc/fstab
在最后一行加入:
/dev/sdb1 /home/hadoop/hdfsdata ext4 defaults 0 0
7. hadoop 文件权限
sudo chown -R hadoop:hadoop /home/hadoop/hdfsdata
sudo chmod 755 -R /home/hadoop/hdfsdata
还需要在hdfsdata下创建 name 和 data 两个文件夹
mkdir /home/hadoop/hdfsdata/name
mkdir /home/hadoop/hdfsdata/data
8. 修改hdfs-site.xml文件
<property>
<name>dfs.namenode.name.dir</name>
<value>/usr/local/hadoop/hdfs/name,/home/hadoop/hdfsdata/name</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>/usr/local/hadoop/hdfs/data,/home/hadoop/hdfsdata/data</value>
</property>
搞定
du -sh. 系统只显示当前文件夹所占用的总空间
du -a. 显示的是所有的文件.包括子文件夹下所有文件也显示..
某个文件夹的话例如home:du -sh /home/*