本文继续介绍HDFS的命令行使用、基准测试、读取与写入过程以及元数据辅助管理。
HDFS的命令行使用
基本命令
基本命令和Linux下的命令使用方式基本相同。
ls
格式:hdfs dfs -ls URI作用:类似于Linux的ls命令,显示文件列表
hdfs dfs -ls /
浏览器输入主机号:50070,查看文件系统
mkdir
格式 :hdfs dfs -mkdir -p /path作用:以中的URI作为参数,创建目录。使用-p参数可以递归创建目录
hdfs dfs -mkdir hellohdfs dfs -mkdir -p /aaa/aaa1/aaa2
lsr
格式:hdfs dfs -ls -R /path作用:在整个目录下递归执行ls
hdfs dfs -ls -R /
put
格式:hdfs dfs -put ... 作用:将单个的源文件src或者多个源文件srcs从本地文件系统拷贝到目标文件系统中(对应的路径),也可以从标准输入中读取输入,写入目标文件系统中。
touch a.txtvim a.txthdfs dfs -put a.txt /hello
在C:\Windows\System32\drivers\etc目录下的host文件添加域名映射
就可以点击Download下载文件了。
moveFromLocal
格式:hdfs dfs -moveFromLocal 作用:和put命令类似,但是源文件localsrc拷贝之后自身被删除,相当于剪切
hdfs dfs -moveFromLocal a.txt /dir1
get
格式:hdfs dfs -get [-ignorecrc ] [-crc] 作用:将文件拷贝到本地文件系统。CRC校验失败的文件通过-ignorecrc选项拷贝。文件和CRC校验和可以通过-CRC选项拷贝
hdfs dfs -get /dir1/a.txt ./
mv
格式:hdfs dfs -mv URI 作用:将hdfs上的文件从原路径移动到目标路径(移动之后文件删除),不能跨文件系统