Hadoop_HDFS学习
一.HDFS的常用Shell命令
总结:操作HDFS的命令即在Linux系统的命令前加上:hadoop fs -
1.启动HDFS:
-
配置环境变量后,
直接 start-dfs.sh
start-yarn.sh -
jps 查看进程
-
hadoop fs - ls path 查看目录
如:hadoop fs -ls /
hadoop fs -ls /test -
进行网页查看192.168.0.130:50070
2.创建新目录:
如:test3
hadoop fs -mkdir /test3
在test3里面再创建新目录input
hadoop fs -mkdir /test3/ input
可以在网页查看
3.本地文件上传文件到HDFS
-put
f1.txt在本地文件data里,上传至HDFS里test3的input目录下
- put 后第一个参数,本地文件路径 (空格)要保存到的HDFS的路径
Hadoop fs -put /user/data/f1.txt /test3/input
网页上查看是否成功
4.下载HDFS的文件至本地
-get
先进入到想要存的本地路径
cd /user/data/
进入data目录
hadoop fs - get /test2/b1.txt /user/data/
回车
输入ls 查看
5.展示文件内容的命令
hadoop fs -cat 路径
将指定格式的文件移动到指定的目标文件
hadoop fs -me
注意:当src为多个文件时,dst必须为目录.
把test2里的b1.txt移到test3的input目录下:
hadoop fs -me /test2/b1.txt test3/input
6.复制操作
-cp
如:
hadoop fs -cp /test3/input/b1.txt /test2
7.删除操作
- rm 删除
- rmr 递归删除
hadoop fs -rm /test3/input/b1.txt
hadoop fs -rmr /test3