VM虚拟机中HDFS 命令

本文详细介绍了在Hadoop分布式文件系统(HDFS)中执行的一系列操作,包括启动Hadoop,查看目录,建立用户目录,复制、移动和删除文件,以及文件内容的查看和统计分析。这些操作涵盖了从基本的文件管理到更复杂的文件系统交互。
摘要由CSDN通过智能技术生成

1. 启动Hadoop

2. 查看该目录下hadoop文件

3. 建立用户自己的目录 

4. 用-ls列出由路径指定的目录的内容,显示每个条目的名称、权限、所有者、大小和修改日期。

 5. 用-put命令在Linux文件系统与HDFS之间复制数据文件(下图则是将abctext放入hdfs下的abctext目录中)

6. -du  显示所有匹配路径的文件的磁盘使用情况(以字节为单位) ; 文件名以完整的 HDFS 协议前缀报告。

7. -dus输出路径中所有文件/目录的磁盘使用情况摘要。

8. -mv src dest在 HDFS 中,将 src 指示的文件或目录移动到 dest。

-mv前 创建新文件atest

-mv之后 将abctext移到atest下

9. -cp src dest 将 src 标识的文件或目录复制到 HDFS 中的 dest。

10. -rm移除由路径标识的文件或空目录

 11.-get [-crc] src localDest

将由 src 标识的 HDFS 中的文件或目录复制到由 localDest 标识的本地文件系统路径。

 12. -cat  查看文本内容

13.-touchz -

    在包含当前时间的路径上创建一个文件作为时间戳。如果文件已经存在于路径中,则失败,除非该文件已经大小为0。

-touchz 之前

-touchz 之后

14. -stat [format] path 打印关于路径的信息。

15. -tail [-f] file 查看最后1KB的内容  

16. -count[q]<path>  查看PATH目录下,子目录数、文件数、文件大小、文件名/目录名 

17.-help ls  获得HDFS总体的状态

18. bin/hadoop dfs admin –report

HadoopHDFSHadoop Distributed File System)是分布式存储的核心组件之一,它支持高容错性、大数据存储以及通过简单的一致性模型来简化客户端的开发。格式化HDFS是指首次设置Hadoop集群时,初始化HDFS文件系统的元数据存储目录,即NameNode上的FsImage和JournalNode(在支持高可用的集群)等关键数据结构的过程。 VM虚拟机运行Hadoop时,格式化HDFS通常遵循以下步骤: 1. 安装好Hadoop,并确保环境变量配置正确,以便在任何地方通过命令行访问Hadoop的可执行文件。 2. 在执行格式化之前,首先需要启动Hadoop集群的各个守护进程。通常,这包括NameNode、DataNode、SecondaryNameNode(如果使用了高可用性配置,则可能还包括JournalNodes和ZooKeeper等)。 3. 使用Hadoop自带的格式化命令来格式化HDFS。这个命令通常是在NameNode上执行的,格式如下: ``` hdfs namenode -format ``` 注意:在执行这个命令之前,请确保集群的守护进程已经停止,因为格式化操作会删除HDFS上的所有数据和元数据,因此在生产环境需要非常谨慎使用。 4. 格式化完成后,再次启动Hadoop集群的守护进程,并且可以通过运行一些基本的命令(比如查看HDFS状态的命令)来验证格式化是否成功。 5. 对于高可用性配置的集群,格式化过程还需要特别注意ZooKeeper集群的配置,确保所有节点都正确地参与到集群的高可用性设置
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值