hadoop搭建(四)
概述
文件系统(FS)shell 包括许多类似shell的命令可以和hadoop分布式文件系统(HDFS)以及其他hadoop支持的系统,比如Local FS,HFTP FS等等系统进行直接交互。FS shell的调用形式如下:
bin/hadoop fs <args>
所有的FS shell把URI视为参数。URI的格式是: scheme://authority/path
。对于HDFS来说,scheme是hdfs,对于本地文件系统来说scheme是file。scheme和authority是可选的。如果没有指定,默认的scheme在配置中被指定。一个HDFS文件或者目录,例如/parent/child
可以被指定为hdfs://namenodehost/parent/child
或者简单地写成/parent/child
(你配置中给成hdfs://namenodehost
)
大多数FSshell中的命令行为有相应的unix指令。Differences are described with each of the commands (?)
。错误信息被发送到标准错误输出,正确信息被发送到标准输出。
如果HDFS已经被使用,hdfs dfs是代名词。
相对路径可以被使用。对于HDFS,当前工作目录是HDFS主目录/ user / ,通常必须手动创建。 还可以隐式地访问HDFS主目录,例如,当使用HDFS垃圾文件夹时,主目录中的.Trash目录。
appendToFile
用法hadoop fs -appendToFile <localsrc> ... <dst>
添加一个或者多个本地文件资源到目的文件系统,也可以从标准输入中获取输入并且添加到目的文件系统。
hadoop fs -appendToFile localfile /user/hadoop/hadoopfile
hadoop fs -appendToFile localfile1 localfile2 /user/hadoop/hadoopfile
hadoop fs -appendToFile localfile hdfs://nn.example.com/hadoop/hadoopfile
hadoop fs -appendToFile - hdfs://nn.example.com/hadoop/hadoopfile
从标准输入中读取
退出码:
0是成功1是错误
cat
用法: hadoop fs -cat [-ignoreCrc] URI [URI ...]
把路径中的资源复制到标准输出
选项:
- The -ignoreCrc option disables checkshum verification.
例子: hadoop fs -cat hdfs://nn1.example.com/file1 hdfs://nn2.example.com/file2
hadoop fs -cat file:///file3 /user/hadoop/file4
退出码
0是成功 -1是失败