hadoop 3.1.3命令行命令./bin/hdfs dfs -mkdir input出现No such file or directory的情况

最新推荐文章于 2025-03-07 10:53:52 发布
最新推荐文章于 2025-03-07 10:53:52 发布
阅读量6.5k 收藏 29
点赞数 27
文章标签： hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_44410742/article/details/105412936
版权

今天在学习hadoop基本操作时输入创建文件的命令时遇到了这种情况
在这里插入图片描述
后来尝试输入

./bin/hdfs dfs -mkdir -p input

成功！在这里插入图片描述
具体情况不太清楚，查询操作文档
在这里插入图片描述
在这里插入图片描述
从介绍看-p只是一个可选参数，至于为什么会出问题也不太清楚。。。
总之如果出现上述问题，试试加-p看看！

LHR13
关注
Hadoop3.1.3安装教程_单机/伪分布式配置
耶耶猫猫的博客
09-27 4126
本文介绍了Hadoop3.1.3安装以及单机/伪分布式配置。
Ubuntu系统安装Hadoop3.1.3并进行单机/伪分布式配置
qq_42582489的博客
03-06 4004
Ubuntu系统安装Hadoop3.1.3并进行单机/伪分布式配置 文章目录Ubuntu系统安装Hadoop3.1.3并进行单机/伪分布式配置前言详细流程创建Hadoop用户安装Java配置SSH免密登陆安装Hadoop3.1.3Hadoop单机配置Hadoop单机运行实例Hadoop伪分布式配置Hadoop伪分布式运行实例Web访问Hadoop信息参考文章 前言 Hadoop官方真正支持的作业平...
上传文件到hdfs时报错bash: ./bin/hdfs: 没有那个文件或目录解决方法
weixin_55501516的博客
10-20 1万+
原因：配置文件没有配置好 首先打开配置文件 1 sudovim/etc/profile 　　接着，在配置文件的最下面，追加三行配置，如下图所示 注意：前两行的=号后面填写的是你的JAVA和HADOOP的安装路径。 补充：可在终端下输入以下的命令来查看安装目录 1 2 echo$JAVA_HOME echo$HADOOP_HOME 　　配置文件保存好后，需通过如下命令使其生效。 ...
hadoop ：mkdir: 'input': No such file or directory问题
wuruiaoxue的专栏
10-04 2万+
初接触hadoop，遇到的问题真不少。在执行bin/hadoop fs -mkdir input时，出错了。测试发现，bin/hadoop fs -ls也不行。排查了一会才发现是版本的原因：2.x以前的版本这个命令，2.x之后的版本命令改成了：bin/hdfs dfs -mkdir -p 文件名 input目录创建完成之后，开始上传本地目录：bin/hdfs dfs -put /root/data
大数据学习栈记——HDFS命令行操作与Java API操作
youka150的博客
03-07 968
HDFS是hadoop框架中的存储技术，由他来决定文件应该怎么存储在分布式集群当中，下面文章将讲述常见的HDFS操作
【已解决】【Hadoop】bash: ./bin/hdfs: 没有那个文件或目录（2024新）
Kika写代码的博客
09-26 4178
使用./bin当你在 Hadoop 安装目录下工作时。不需要./bin当你已经在PATH中设置了 Hadoop 的bin目录，或者你使用完整路径执行命令。通常是指用户的家目录，而是 Hadoop 的安装目录。
解决hdfs dfs -mkdir input 报错 no such file or directory
qq_57765078的博客
11-17 1875
解决hdfs dfs -mkdir input报错no such file or directory
bash: cd: /etc/hadoop/: 没有那个文件或目录
qq_39474048的博客
06-28 1万+
刚开始学hadoop之前linux操作也没怎么看就火急火燎的来看hadoop，我是因为在hadoop-2.7.2下cd /etc/hadoop，所以无法进入，cd /etc/hadoop和cd etc/hadoop是不一样的，cd后加个/ 相当于在根目录下查找，这时候得输入完整路径cd /opt/module/hadoop-2.7.2/etc/hadoop或者在hadoop-2.7.2下 输入cd etc/hadoop。刚开始接触大数据，大家一起加油！ ...
执行hadoop fs -mkdir时，提示mkdir: `/user/hadoop/': No such file or directory
weixin_41018467的博客
02-17 1万+
这是因为一开始父目录也不存在（也就是/user不存在） 执行命令 hdfs dfs -mkdir -p /user/hadoop 或者 hadoop fs -mkdir -p /user/hadoop/   -p标志表示还将创建通向给定目录的所有不存在的目录。   参考网址： https://stackoverflow.com/questions/40143528/hdf...
Hadoop学习笔记
01-20
例如，`bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.2.jar grep input output 'dfs[a-z.]+'` 是一个查找字符串的MapReduce作业。 3. **YARN上运行MapReduce**：同样使用`bin/hadoop jar`...
hadoop3.1.3集群搭建(ha+yarn)
lxhjava的博客
02-15 1887
当前环境： centos6.5,jdk8 准备工作： 1.服务器之间免密登录 $ ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa $ cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys $ chmod 0600 ~/.ssh/authorized_keys 2.服务器之间时间同步 3.安装zook...
保姆级教程教你如何安装Hadoop，实现Hadoop单机（非分布式）配置
m0_74825093的博客
03-02 965
Hadoop 可以在单节点上以伪分布式的方式运行，Hadoop 进程以分离的 Java 进程来运行，节点既作为 NameNode 也作为 DataNode，同时，读取的是 HDFS 中的文件。运行例子：将 input 文件夹中的所有文件作为输入，筛选当中符合正则表达式 dfs[a-z.]+ 的单词并统计出现的次数，最后输出结果到 output 文件夹中。重新加载，等待加载完成，若加载失败，选择其他中国服务器，再进行加载。点击VM上边的编辑，选择虚拟网络编辑器，点击右下角的。
hadoop fs -mkdir 报错 No such file or directory
midori的博客
03-30 1985
问题：hadoop fs -mkdir /tmp/hadoop/data（版本 hadoop 2-7-5）报错：mkdir '/tmp/hadoop/data' No such file or directory解决方案：加一个-p
hdfs dfs -ls后出现No such file or directory解决
热门推荐
binbin_09_10的博客
10-25 2万+
原因是因为-ls默认目录是在hdfs文件系统的/user/用户名（用户名就命令行@符号前面的那个东西），但是你的hdfs系统内没有这个文件夹，所以会显示No such file or directory。 所以你需要在hdfs文件系统内创建 root1@ubuntu:~$ hdfs dfs -mkdir /user mkdir: Cannot create directory /user. ...
bash cd etchadoop 没有那个文件或目录
web18224617243的博客
03-31 1505
刚开始学hadoop之前linux操作也没怎么看就火急火燎的来看hadoop，我是因为在hadoop-2.7.2下cd /etc/hadoop，所以无法进入，cd /etc/hadoop和cd etc/hadoop是不一样的，cd后加个/ 相当于在根目录下查找，这时候得输入完整路径cd /opt/module/hadoop-2.7.2/etc/hadoop或者在hadoop-2.7.2下 输入cd etc/hadoop。刚开始接触大数据，大家一起加油！ ...
hadoop 安装报No such file or directory错误
kkk109A的博客
11-23 2118
错误原因，路径不对，重新核查即可。
step9. MapReduce编程实践——WordCount+相关报错和解决方法
weixin_46964107的博客
03-30 1698
MapReduce实现Wordount+报错及解决办法
Hadoop3.2.0 HDFS命令指南
张伯毅的专栏
02-19 9978
HDFS命令指南 概览 User Commands classpath dfs envvars fetchdt fsck getconf groups httpfs lsSnapshottableDir jmxget oev oiv oiv_legacy snapshotDiff version Administration...
Hadoop HDFS操作命令
ruth13156402807的博客
07-26 178
Hadoop HDFS操作命令 创建一个文件夹 hdfs dfs -mkdir /myTask 创建多个文件夹 hdfs dfs -mkdir -p /myTask1 /input1 上传文件 hdfs dfs -put /opt/wordcount.txt /myTask/input 查看总目录下的文件和文件夹 hdfs dfs -ls / 查看myTask下的文件和文件夹 hdfs dfs -ls /myTask 查看myTask下的wordcount.txt的内容 hdfs dfs -c
用空格隔开 如果敲错了 按下ctrl+backspace可以删除 注意一定要有四个)" one two three four if [ ! -n $four ] then echo "Args Number Input Error..." exit; fi}# 获取用户的8个配置文件存放路径和将要安装的目录function getFilesAndTargetDir(){ read -p "请输入你的软件包路径(绝对路径)" softwareDir read -p "请输入你的8个配置文件存放路径(配置文件已修改好 绝对路径)" filesDir read -p "你想要将HA安装在哪个目录下(空目录 绝对路径)" targetDir}function getUserPathFileName(){ read -p "你的环境变量配置文件名：(在/etc/profile.d/下 例如my_path.sh 只要文件名)" pathFileName}# 1 function unpackSoftwarePackage(){ echo "----------一、解压软件包----------" sleep 2 echo "----------1.创建hadoop HA高可用目录:$targetDir/----------" if [ ! -d "$targetDir/" ];then mkdir $targetDir/ fi echo "----------2.解压JDK----------" tar -xzvf $softwareDir/jdk-8u202-linux-x64.tar.gz -C $targetDir/ echo "----------3.解压hadoop----------" tar -xzvf $softwareDir/hadoop-3.1.3.tar.gz -C $targetDir/ echo "----------4.解压zookeeper----------" tar -xzvf $softwareDir/apache-zookeeper-3.5.7-bin.tar.gz -C $targetDir/ echo "----------第一步已完成----------" return 0}# 2 function changeName(){ echo "----------二、改名----------" sleep 2 echo "----------1.重命名Zookeeper----------" mv $targetDir/apache-zookeeper-3.5.7-bin/ $targetDir/zookeeper echo "----------2.重命名JDK----------" mv $targetDir/jdk1.8.0_202/ $targetDir/jdk1.8 echo "----------第二步已完成----------" return 0}# 3function copyConfigurationFiles(){ echo "----------三、修改八个配置文件----------" sleep 2 echo "----------1.修改hadoop下的6个文件----------" cat $filesDir/core-site.xml > $targetDir/hadoop-3.1.3/etc/hadoop/core-site.xml cat $filesDir/hdfs-site.xml > $targetDir/hadoop-3.1.3/etc/hadoop/hdfs-site.xml cat $filesDir/mapred-site.xml > $targetDir/hadoop-3.1.3/etc/hadoop/mapred-site.xml cat $filesDir/yarn-site.xml > $targetDir/hadoop-3.1.3/etc/hadoop/yarn-site.xml cat $filesDir/workers > $targetDir/hadoop-3.1.3/etc/hadoop/workers cat $filesDir/hadoop-env.sh > $targetDir/hadoop-3.1.3/etc/hadoop/hadoop-env.sh echo "----------2.修改zookeeper下的1个文件----------" mv $targetDir/zookeeper/conf/zoo_sample.cfg $targetDir/zookeeper/conf/zoo.cfg cat $filesDir/zoo.cfg > $targetDir/zookeeper/conf/zoo.cfg echo "----------3.修改环境变量----------" cat $filesDir/$pathFileName > /etc/profile.d/$pathFileName source /etc/profile.d/$pathFileName echo "----------4.安装psmisc插件----------" sudo yum install -y psmisc ssh $two "sudo yum install -y psmisc" echo "----------第三步已完成----------" return 0}# 4.function createDir(){ echo "----------四、创建目录----------" sleep 2 echo "----------1.创建zkData高可用目录----------" mkdir $targetDir/zookeeper/zkData touch $targetDir/zookeeper/zkData/myid echo "----------2.创建Hadoop数据临时目录----------" mkdir $targetDir/tmp echo "----------3.创建JournalNode日志目录----------" mkdir $targetDir/logs echo "----------第四步已完成----------" return 0}# 5.function xsyncHA(){ echo "----------五、分发HA目录----------" sleep 2 xsync $targetDir/ echo "----------1.分发环境变量配置文件----------" for i in $two $three $four do sudo scp /etc/profile.d/$pathFileName $i:/etc/profile.d/ done echo "----------2.刷新环境变量----------" for i in $two $three $four do ssh $i "source /etc/profile.d/$pathFileName" done echo "----------第五步已完成----------" return 0}# 6.function changeMyIdOfZK(){ echo "----------六、修改zookeeper的myid 使用ssh方式----------" sleep 2 echo "---------- 修改two的myid文件------------" ssh $two "echo '1' >> $targetDir/zookeeper/zkData/myid" echo "---------- 修改three的myid文件------------" ssh $three "echo '2' >> $targetDir/zookeeper/zkData/myid" echo "---------- 修改four的myid文件------------" ssh $four "echo '3' >> $targetDir/zookeeper/zkData/myid" echo "----------第六步已完成----------"}# 7.function startZKOnThreeNode(){ echo "----------七、启动ZK----------" sleep 2 echo "----------启动zookeeper----------" for i in $two $three $four do echo ---------- zookeeper $i 启动 ------------ ssh $i "$targetDir/zookeeper/bin/zkServer.sh start" done echo "----------第七步已完成----------"}# 8.function startHadoop(){ echo "----------八、启动hadoop----------" sleep 2 echo "----------1.启动JournalNode----------" for i in $one $two $three do echo ---------- hadoop $i JournalNode启动 ------------ ssh $i "hdfs --daemon start journalnode" done echo "----------2.初始化NameNode----------" hdfs namenode -format echo "----------3.初始化Zookeeper----------" ssh $two "hdfs zkfc -formatZK" echo "----------4.启动两个NameNode----------" hdfs --daemon start namenode ssh $two "hdfs namenode -bootstrapStandby" echo "----------5.启动集群----------" start-dfs.sh echo "----------第八步已完成----------" echo "----------Hadoop HA高可用搭建已完成----------"}# 调用上述函数完成安装HAtestReadgetFilesAndTargetDirgetUserPathFileNameunpackSoftwarePackagechangeNamecopyConfigurationFilescreateDirxsyncHAchangeMyIdOfZKstartZKOnThreeNodestartHadoop123
最新发布
03-09
### 编写Bash脚本实现Hadoop HA高可用部署 #### 解压缩软件包并安装 为了自动化解压JDK、Hadoop和ZooKeeper的安装过程，可以利用`tar`命令来完成此操作。假设所有软件包都位于同一目录中，并且目标路径已定义为`$...
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值