HDFS常用命令与实际操作图解

原创声明：近期发现在关键字搜索我的文章时，发现很多文章被其他网站直接一字不落的拿去。在这里我先谢谢大家对我写的内容的肯定，我也会继续努力。但是，很多网站连标明都未标明来源，这就让人很可气，毕竟每一篇文章都是我一个字一个字敲出来的。我也不是在抱怨什么，只是希望那些某些站长在“转载”他人文章时标明来源，注明作者。不要只是简单的一个来源互联网。万分感谢。

此外，本站文章如未标注文章来源，则均为作者原创，请转载附上原文链接，并声明作者。保护原创，从我做起，谢谢合作。

如果是我的项目的话，源码会全部上传到我的Github，大家有需要的可以拿去研究，也可以我们一起交流探讨。最后，祝愿每一个默默努力的人都可以取得理想的结果。

-----------吃土少年8

HDFS常用命令：

1. hdfs dfs -help 显示帮助文档，列出了所有可以使用文档命令及语法

2. hdfs dfs -appendToFile 本地文件路径 hdfs中文件路径将指定文件或文件夹中的所有内容添加到HDFS上的目标文件的尾部，对已经在HDFS中的内容是不允许被修改的。因为被设计之初，HDFS就是为了高吞吐，是查询分析，而不是修改。

3. hdfs dfs -cat hdfs 上文件的路径查看hdfs文件的内容

4. hdfs dfs -put 本地文件路径 hdfs上文件的路径将本地文件上传到HDFS的目标路径下

5. hdfs dfs -get hdfs 上文件的路径 本地文件路径将HDFS上的文件下载到本地

6. hdfs dfs -mkdir hdfs上的路径 在HDFS上创建文件夹

7. hdfs dfs -ls hdfs上的路径 显示hdfs目标路径下的一级内容

8. hdfs dfs -ls -R hdfs上的路径 迭代显示hdfs目标路径下的所有内容，包括子文件夹下的所有内容

9. hdfs dfs -mv hdfs上的路径1 hdfs上的路径2 将路径1的内容移动到路径2

10. hdfs dfs -cp hdfs上的路径1 hdfs上的路径2 将路径1的内容复制到路径2

11. hdfs dfs -rm hdfs上的路径 删除HDFS上的内容

12. hdfs dfs -tail hdfs上的路径 显示文件末尾的内容

13. 示例一：

    • 新建一个hello2文件，向里面添加内容，然后追加到hello文件后面，再查看一下。

    •     vim /opt/hello2
      
          hello abc
          hello 123
      

    • 

    •     hdfs dfs -appendToFile /opt/hello2 /hello
          hdfs dfs -cat /hello
      

    • 

    • 追加成功！

14. 示例二：

    • 将hello和hello2文件放入opt目录下新建的dir目录，然后将dir目录下的内容追加到hdfs下的hello文件后面。

    • mkdir /opt/dir
      mv /opt/hello /opt/dir/
      mv /opt/hello2 /opt/dir/
      
      hdfs dfs -appendToFile /opt/dir/* /hello
      hdfs dfs -cat /hello
      

    • 效果如下：

    -

分布式计算：