当Hadoop搭建完毕之后,启动Hadoop就可以使用了,而Hadoop既然是个分布式存储系统,那么肯定需要将文件上传到服务器进行存储,这篇博客就此进行初步的hdfs shell使用
既然都是搭建在Linux下的,因此,hdfs shell也可以看见Linux命令的影子。
我们使用hdfs dfs
、hadoop fs
使用,根据个人爱好使用就可以,这里使用hdfs dfs
以下就是hdfs简单命令
- 列出hdfs文件系统中的文件以及文件夹
hdfs dfs -ls /
查看hdfs根目录下的文件和文件夹,如果想递归显示,添加参数-R
- 上传文件
hdfs dfs -put 本地文件路径 hdfs路径
将一个本地文件上传到hdfs上,注意指明本地路径和hdfs路径
- 查看文件内容
hdfs dfs -cat hdfs文件
查看hdfs文件,需要注意hdfs路径是否正确
- 创建文件夹以及联级创建
hdfs dfs -mkdir hdfs路径
与Linux创建文件夹相同,联级创建在mkdir后边添加-p
- 删除目录或者文件
hdfs dfs -rm hdfs文件
如果想删除文件夹需要添加-r
也可以直接hdfs dfs -rmr hdfs路径
- 复制系统内的文件
hdfs dfs -cp hdfs文件 hdfs复制文件
如果目标是文件夹同样添加-r
- 复制文件到本地文件系统
hdfs dfs -get hdfs文件 local路径
hdfs dfs copyToLocal hdfs文件 local 路径
将hdfs文件下载到本地,注意路径正确
- 将文件从一个地方剪切到另一个地方
hdfs dfs -mv hdfs文件 hdfs剪切文件
与cp相同
- 显示文件以及文件夹大小
hdfs dfs -du hdfs文件
如果是显示当前文件夹的大小可以添加参数-s hdfs dfs -du -s hdfs文件夹
- 在本地和hdfs上进行文件移动
hdfs dfs -moveToLocal hdfs路径 local路径
hdfs dfs -moveFromLocal local路径 hdfs路径