在本文中,我将介绍通过 shell 命令管理的 10 大基本 Hadoop HDFS 操作,这些命令对于管理 HDFS 集群上的文件很有用;出于测试目的,您可以使用来自 Cloudera、Hortonworks 等的一些 VM 或者如果您有自己的伪分布式集群设置来调用此命令。对技术感兴趣朋友可以加这个扣扣2779571288交流。
1. 在给定路径的 HDFS 中创建一个目录。
2. 列出目录的内容。
3. 在 HDFS 中上传和下载文件。
上传:hadoop fs -put:
将单个 src 文件或多个 src 文件从本地文件系统复制到 Hadoop 数据文件系统
下载:hadoop fs -get:
将文件复制/下载到本地文件系统
4. 查看文件内容
与 unix cat 命令相同:
5. 将文件从源复制到目标
此命令也允许多个源,在这种情况下目标必须是目录。
6.从/到本地文件系统复制文件到HDFS
从本地复制
类似于 put 命令,除了源被限制为本地文件引用。
复制到本地
类似于 get 命令,不同之处在于目标仅限于本地文件引用。
7. 将文件从源移动到目标。
注意:- 不允许跨文件系统移动文件。
8. 删除 HDFS 中的文件或目录。
删除指定为参数的文件。仅在目录为空时删除目录
删除的递归版本。
9. 显示文件的最后几行。
类似于 Unix 中的 tail 命令。
10. 显示文件的总长度。
请评论您在处理 Hadoop /HDFS 时发现哪些命令最有用。
对技术感兴趣朋友可以加这个扣扣2779571288交流。