linux hdfs命令找不到,HDFS中的命令行

本文详细介绍了Hadoop HDFS的常用命令行操作,包括`fs`、`cat`、`copyFromLocal`、`cp`、`du`、`dus`、`expunge`、`get`、`put`、`ls`、`lsr`、`mkdir`、`mv`、`rm`、`rmr`、`setrep`、`test`和`text`等,涵盖了文件查看、上传、下载、移动、删除及文件属性设置等多个方面。
摘要由CSDN通过智能技术生成

本文介绍了HDFS以命令行运行的时候,几个常用的命令行的作用和如何使用~

1. fs

fs是启动命令行动作,该命令用于提供一系列子命令。

使用形式为Hadoop fs –cmd

其中,cmd是子命令,args是具体的命令操作。

例如hadoop fs –help

或者说fs是其余子命令的父亲,其余都是在“-cmd”的模式下的!

2. –cat 输出

hadoop fs –cat URI

将路径指定的文件输出到屏幕

3. –copyFromLocal 将本地文件复制到HDFS中

hadoop fs -copyFromLocal URI

hadoop fs –copyFromLocal /usr/localFile.txt sample.txt

可以实现本地文件上传到HDFS中,而且目标路径是简化过的

4. -cp 复制

hadoop fs –cp /usr/file1 /usr/files /user/dir

源路径的文件复制到目标路径中,源路径可以有多个,但是目标路径只能有一个

5. –du 显示目录中所有文件的大小,或者一个文件的大小

hadoop fs –du /usr/dir1

6. –dus 显示文件大小

7. –expunge 清空回收站

hadoop fs –expunge

8. –get 复制本件到本地系统

使用方法为:hadoop fs –get

hadoop fs –get /usr/file localfile

9. –put 本地文件复制到目标文件系统

使用方式:hadoop fs –put

hadoop fs –put localfile hadfs://host:port/usr/file

10. –ls 浏览本地文件

使用方法:hadoop fs –ls

返回信息:

文件名 文件大小 修改日期 权限 用户 ID/组 ID

11. –lsr 递归地查阅文件内容

12. –mkdir 创建对应的文件目录

hadoop fs –mkdir /usr/dir1/dir2/dir3/file

13. –mv 移动

将源文件移动到目标路径,目标路径可以有多个

hadoop fs –mv /usr/file1 /usr/file2

14. –rm 删除

hadoop fs –rm URI

15. –rmr 递归删除

16. –Setrep 改变一个副本的复制份数

hadoop fs –setrep –w 3 –R /usr/file

17. –Test 检查文件

使用ezd对文件进行检查

-e:检查文件是否存在,若存在返回0;

-z:检查文件是否为0字节,如果是返回0;

-d:检查路径是否为目录,如果是返回1;

18. –text 将源文件输出为文本格式

hadoop fs –text 运行的格式是zip以及Text类

--------------------------------------分割线 --------------------------------------

--------------------------------------分割线 --------------------------------------

0b1331709591d260c1c78e86d0c51c18.png

当您尝试在Hadoop分布式文件系统 (HDFS) 的集群环境运行`hdfs`命令时,如果遇到“command not found”错误,这通常意味着您的Hadoop环境变量设置有问题,或者是Hadoop命令行工具未安装在系统的PATH路径。 以下是可能导致这种情况的一些原因和解决步骤: 1. **环境变量设置**:检查`$HADOOP_HOME/bin`目录是否包含在系统的`PATH`环境变量。如果没有,需要手动添加它。在Linux/Mac上可以在`~/.bashrc`或`~/.bash_profile`添加,而在Windows上则可能需要修改系统属性或用户变量。 ```sh # Linux / Mac export PATH=$HADOOP_HOME/bin:$PATH # Windows (命令提示符) setx path "%path%;%HADOOP_HOME%\bin" ``` 然后关闭并重新打开终端窗口,让更改生效。 2. **Hadoop配置**:确认`hdfs-site.xml`和`core-site.xml`等核心配置文件位于`$HADOOP_HOME/conf`下,并且配置正确。 3. **工具包缺失**:确保Hadoop已经正确安装并且所有依赖都已安装,如`hadoop-client`包。如果你只是想作为客户端操作HDFS,可能只需要安装对应版本的Hadoop Client。 4. **权限问题**:确保当前用户有执行Hadoop命令所需的权限,可能需要切换到`hadoop`用户或者通过`sudo`运行命令。 5. **命令不存在**:有时候可能是误打字或版本差异导致,确认输入的`hdfs`命令是否正确无误,以及是否使用的是Hadoop正确的版本。 如果您按照以上步骤仍然无法解决问题,可以尝试重新构建Hadoop环境,或者查看Hadoop的日志文件(如`hadoop.log`),那里可能会提供更详细的错误信息。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值