Hdfs基本操作
Hdfs是hadoop的分布式文件系统,提供海量数据的存储。同样我们也可以操作hdfs上的文件对象执行基本的查看,上传,下载等操作。
使用hfds dfs 和hadoop fs来操作文件这两者一样,命令格式为hadoop fs –ls dfhs://shb01:9000/也可以使用hadoop fs –ls /,/表示当前根目录和dfhs://shb01:9000/一样。Hdfs是hadoop本身的协议,hdfs本身没有权限它借用的是linux权限。
1:-put上传命令
hadoop fs -put –p ./hello /
将linux目录下的hello文件上传到hdfs跟目录下,-p可选,保留原文件的一些特性。-f可选,直接覆盖
2:-ls 查看命令, -d 列出目录–h显示更易读的大小–R递归
hadoop fs -ls /
16/08/10 03:26:31 WARN util.NativeCodeLoader: Unable to loadnative-hadoop library for your platform... using builtin-java classes whereapplicable
Found 1 items
-rw-r--r-- 1 rootsupergroup 12 2016-08-10 02:47 /hello
3:-text 目标内容
hadoop fs -text /hello
4:-get 从hdfs上下载文件到本地
hadoop fs -get /hello ./hello1
5:-mkdir 创建目录,-p递归创建
hadoop fs -mkdir /shb01/02
6:-rm 删除目录,-R递归删除
hadoop fs -rm -r /shb01
7:appendToFile向文件追加数据
hadoop fs -appendToFile - /hello
其中-代表命令行输入以ctrl+c结束,如果是文件名则将linux上的文件追加到hdfs上的文件中。8:复制
hadoop fs -cp /shb01/02 /shb01/03
9:改名
hadoop fs -mv /shb01/02 /shb01/03
10:查看命令帮助信息
hadoop fs -help ls