hadoop常用命令

本地文件系统到hadoop

1 上传文件

hadoop fs -put 本地文件所在位置 上传到hadoop的位置
hdfs dfs -put 本地文件所在位置 上传到hadoop的位置
hadoop fs -copyFromLocal 本地文件所在位置 上传到hadoop的位置
注：三条命令没有任何区别

2 剪切文件

hadoop fs -moveFromLocal 本地文件所在位置 上传到hadoop的位置

3 追加文件

hadoop fs -appendToLocal 本地文件所在位置 上传到hadoop的位置

HDFS文件系统到本地文件系统

1 下载文件

hadoop fs -get hadoop上的文件位置  下载到本地文件位置
hadoop fs -copyToLocal hadoop上的文件位置  下载到本地文件位置

2 合并下载文件

hadoop fs -getmerge hadoop上的文件位置  下载到本地文件位置

HDFS文件系统上的操作

命令和Linux上的基础命令差不多，只不过要在Linux命令的基础上加上hadoop fs。以下只举几个例子
1 复制文件

hadoop fs -cp 被复制文件 复制目的文件 

2 移动文件

hadoop fs -mv 源地址 目的地址

3 创建文件夹

hadoop fs -mkdir 文件夹名

4 查看文件

hadoop fs -cat 文件名

其他操作

修改文件的副本数

hadoop fs -setrep 副本数 文件名

打包文件

bin/hadoop archive -archiveName 打包后存储的文件名 -p 需要打包的文件所在位置 打包后文件存放的位置

查看打包后的文件

hadoop fs -lsr 文件的绝对路径
hadoop fs -lsr har://文件的绝对路径

解压文件

hadoop fs -cp har://文件的绝对位置 解压的位置