Hadoop使用——hdfs shell

当Hadoop搭建完毕之后，启动Hadoop就可以使用了，而Hadoop既然是个分布式存储系统，那么肯定需要将文件上传到服务器进行存储，这篇博客就此进行初步的hdfs shell使用
既然都是搭建在Linux下的，因此，hdfs shell也可以看见Linux命令的影子。
我们使用hdfs dfs、hadoop fs使用，根据个人爱好使用就可以，这里使用hdfs dfs
以下就是hdfs简单命令

1. 列出hdfs文件系统中的文件以及文件夹

hdfs dfs -ls /
查看hdfs根目录下的文件和文件夹，如果想递归显示，添加参数-R

2. 上传文件

hdfs dfs -put 本地文件路径 hdfs路径
将一个本地文件上传到hdfs上，注意指明本地路径和hdfs路径

3. 查看文件内容

hdfs dfs -cat hdfs文件
查看hdfs文件，需要注意hdfs路径是否正确

4. 创建文件夹以及联级创建

hdfs dfs -mkdir hdfs路径
与Linux创建文件夹相同，联级创建在mkdir后边添加-p

5. 删除目录或者文件

hdfs dfs -rm hdfs文件
如果想删除文件夹需要添加-r 
也可以直接hdfs dfs -rmr hdfs路径

6. 复制系统内的文件

hdfs dfs -cp hdfs文件 hdfs复制文件
如果目标是文件夹同样添加-r

7. 复制文件到本地文件系统

hdfs dfs -get hdfs文件 local路径
hdfs dfs copyToLocal hdfs文件 local 路径
将hdfs文件下载到本地，注意路径正确

8. 将文件从一个地方剪切到另一个地方

hdfs dfs -mv hdfs文件 hdfs剪切文件
与cp相同

9. 显示文件以及文件夹大小

hdfs dfs -du hdfs文件 
如果是显示当前文件夹的大小可以添加参数-s hdfs dfs -du -s hdfs文件夹

10. 在本地和hdfs上进行文件移动

hdfs dfs -moveToLocal hdfs路径 local路径
hdfs dfs -moveFromLocal local路径 hdfs路径