HDFS常用操作

1.格式化HDFS
bin/hadoop   namenode  -format

2.启动HDFS
bin/start-dfs.sh

3.关闭HDFS
bin/stop-dfs.sh

4.创建目录
bin/hadoop  fs -mkdir 目录
如:bin/hadoop  fs  -mkdir /user/cai
注意:hadoop的mkdir会自动创建父目录

5.上传文件命令
bin/hadoop  fs -put filename
如:bin/hadoop  fs -put  example.txt  //放入默认的工作目录,等价于bin/hadoop  fs -put  example.txt   /user/cai

6.上传文件到HDFS
上传文件时,文件首先上传复制到DataNode上,只有所有的DataNode都成功接收数据,文件上传才成功。
bin/hadoop   dfs  -put  filename   newfilename(重命名)

7.罗列HDFS上的文件
bin/hadoop  dfs  -ls     //默认返回HDFS的home目录下的文件

8.列出HDFS目录下某一个文档的文件
bin/hadoop   dfs  -ls 文件夹名
如:bin/hadoop  dfs  -ls  input

9.查看HDFS里某一个文件
bin/hadoop  dfs  -cat  filename
如:bin/hadoop   dfs  -cat  input/*       //查看input目录中的内容

10.将HDFS中的文件复制到本地
bin/hadoop   dfs  -get  filename    newfilename    //支持重命名

11.递归删除HDFS下的文档

bin/hadoop  dfs  -rmr  filename


12.改变文件所属组

bin/hadoop  fs  -chgrp  [-R]    GROUP  URI

-R:将改变在目录结构下递归进行。命令的使用者必须是文件的所有者或者是超级用户。


13.改变文件的权限

bin/hadoop   -chown [-R]  0WNER   URI


14.从本地上传文件

bin/hadoop  fs -copyFromLocal  <localSrc>URI

localSrc必须是本地路径


15.下载文件到本地

bin/hadoop   -copyToLocal  <localDst>URI

localDst必须是本地路径


16.复制文件

bin/hadoop   fs  -cp  srcURI   dstURI

cp:将文件从源路径复制到目标路径,允许有多个源路径,但是只允许有一个目标路径。


17.显示目录中所有文件的大小

bin/hadoop   fs  -du  URI


18.显示文件大小

bin/hadoop   fs  -dus  <args>


19.清空回收站

bin/hadoop  fs   - expunge


20.get命令

bin/hadoop   fs -get  [-ignorecrc]  [-crc]  <src>   <local>


21.移动文件

bin/hadoop    fs   -mv   <srcURI>.....        <dstURI>

将文件从源路径移动到目标路径, 允许有多个源路径,但是只允许有一个目标路径


22.删除文件

bin/hadoop   fs   -rm   URI


23.改变文件副本系数

bin/hadoop    fs   -setrep   <num>  [-R]  <path>

-R表示递归改变目录下所有的文件的副本系数


24.查看统计信息

bin/hadoop    fs  -stat   URI......


25.输出文件尾部内容

bin/hadoop   fs   -tail   URI

-tail:输出文件尾部1KB的内容


26.检查文件

bin/hadoop  fs  -test   -[ezd]    URI
-e:检查文件是否存在,如果存在则返回0

-z:检查文件是否是0字节,是则返回0

-d:检查是不是一个目录


27.将文件输出为文本格式

bin/hadoop    fs   -text  <src>


28.创建空文件

bin/hadoop   fs   -touchz   URI

-touchz:用于创建一个0字节的空文件

参考资料:Hadoop 权威指南     Tom  White 著         周敏奇 等  译   清华大学出版社

                    Hadoop实战              陆嘉恒 著   第二版         机械工业出版社




评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值