一、实验环境
- 操作系统:Linux
- 实验软件:VMware
- Hadoop版本:3.1.3
- JDK版本:1.8
(注意:Hadoop3.1.3要求JDK版本在1.8及以上)
二、实验内容
shell命令方式:
hadoop fs:适用于任何不同的文件系统
hadoop dfs:适用于HDFS文件系统
hdfs dfs:适用于HDFS文件系统
1. 启动Hadoop并查看
cd /usr/local/hadoop
sbin/start-dfs.sh
jps
2. fs查看支持的命令
bin/hadoop fs
3. 查看帮助命令
bin/hadoop fs -help push
4. 创建用户目录(已创建省略该步骤)
bin/hdfs dfs -mkdir -p /user/hadoop
5. 新建目录并查看
bin/hdfs dfs -mkdir test
bin/hdfs dfs -ls
6. 删除目录并查看
bin/hdfs dfs -rm -r test #-r参数级联删除
bin/hdfs dfs -ls
7. 将本地文件系统文件上传到HDFS文件系统中
vim local.txt
cat local.txt
ls
bin/hdfs dfs -mkdir test
bin/hdfs dfs -ls test
bin/hdfs dfs -put /usr/local/hadoop/loacl.txt test
bin/hdfs dfs -ls test
bin/hdfs dfs -cat test/local.txt
8. 将HDFS中文件下载到本地
sudo rm local.txt #首先将本地文件删除
bin/hdfs dfs -get test/local.txt /usr/local/hadoop
9. 拷贝文件
bin/hdfs dfs -mkdir test2
bin/hdfs dfs -cp test/local.txt test2
10. web界面管理HDFS
浏览器打开:http://localhost:9870