hadoop_命令

1. 创建目录

hadoop dfs -mkdir /usr

-p先创建父目录

 

2. 查看文件列表

hadoop fs -ls /

-ls -R sj 查看子目录

-lsr 查看子目录

 

3. 将系统文件复制到hdfs

copyFromLocal

hadoop dfs -copyFromLocal /opt/hadoop/temp/testFile.txt /usr/local/testFile.txt

 

put

hadoop dfs -put /opt/hadoop/temp/testFile.txt /usr/local/testFile.txt

 

 

4. 将hdfs中的文件复制到系统中

copyToLocal

hadoop -copyToLocal /usr/local/testFile.txt /opt/hadoop/temp/testFileFromHDFS.txt

get

hadoop dfs -get /usr/local/testFile.txt /opt/hadoop/temp/testFileFromHDFS.txt

 

 

5. 复制文件

将HDFS中的文件复制到HDFS相应目录

cp

hadoop dfs -cp /usr/local/testFile.txt /usr/local/testFileCopy.txt

 

6. 删除文件

rm 删除文件

rmr 递归删除

hadoop dfs -rmr /usr/local/testFile.txt

或者：

hadoop dfs -rmr /usr/local/*

 

7. 移动文件

mv

hadoop dfs -mv /usr/local/testFile.txt /usr

 

8. 统计

-count

统计某一目录下有多少个文件，共占用多大磁盘。

Hadoop dfs -count /usr/local

 

9. 查看文件内容

cat

hadoop dfs -cat /usr/local/testfile.txt

 

text

tail

 

10. 显示目录中各文件的大小

du

hadoop dfs -du /usr/local

 

 

11. 显示目录中所有文件的总大小

dus

hadoop dfs -dus /usr/local

 

 

12. 集群间复制数据

distcp

hadoop distcp hdfs://centos5:9000/usr/local/testFile.txt hdfs://centos2:9001/data/local

假设两个集群的nameNode分别为centos5、centos2,端口分别为9000和9001

 

13. 平衡操作

balancer

如果管理员发现某些DataNode保存数据过多，某些DataNode保存数据相对较少，可以使用上述命令手动启动内部的均衡过程。

如：hadoop balancer

 

14. 检查文件

fsck

hadoop fsck /usr -delete (删除受损文件)

其中-delete为可选参数，还可以是-move、-files、-blocks、-openforwrite、-locations

 

15. 管理命令

l 安全模式：-safemode

hdfs dfsadmin -safemode enter/leave/get/wait

 

l 报告：-report

hdfs dfsadmin -report