Hadoop_HDFS课堂学习笔记

Hadoop_HDFS学习

一.HDFS的常用Shell命令

总结：操作HDFS的命令即在Linux系统的命令前加上：hadoop fs -

1.启动HDFS：

• 配置环境变量后,
  直接 start-dfs.sh
  start-yarn.sh

• jps 查看进程

• hadoop fs - ls path 查看目录
  如：hadoop fs -ls /
  hadoop fs -ls /test

• 进行网页查看192.168.0.130:50070

2.创建新目录：

如：test3
hadoop fs -mkdir /test3

在test3里面再创建新目录input
hadoop fs -mkdir /test3/ input

可以在网页查看

3.本地文件上传文件到HDFS

-put

f1.txt在本地文件data里，上传至HDFS里test3的input目录下

• put 后第一个参数，本地文件路径 （空格）要保存到的HDFS的路径

Hadoop fs -put /user/data/f1.txt /test3/input

网页上查看是否成功

4.下载HDFS的文件至本地

-get

先进入到想要存的本地路径
cd /user/data/
进入data目录
hadoop fs - get /test2/b1.txt /user/data/
回车
输入ls 查看

5.展示文件内容的命令

hadoop fs -cat 路径

将指定格式的文件移动到指定的目标文件
hadoop fs -me
注意：当src为多个文件时，dst必须为目录.

把test2里的b1.txt移到test3的input目录下：
hadoop fs -me /test2/b1.txt test3/input

6.复制操作

-cp

如：
hadoop fs -cp /test3/input/b1.txt /test2

7.删除操作

• rm 删除
• rmr 递归删除

hadoop fs -rm /test3/input/b1.txt
hadoop fs -rmr /test3