关于hadoop的配置文件引起的inputoutput error

最新推荐文章于 2024-04-17 15:20:34 发布
最新推荐文章于 2024-04-17 15:20:34 发布
阅读量2.1k 收藏 6
点赞数
分类专栏： java 文章标签： java 后端
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_67400973/article/details/124105719
版权

在这里插入图片描述
这个问题是关于配置文件没有配好，在路径 /usr/local/hadoop/etc/hadoop中有两个配置文件，hdfs-site.xml和core-site.xml,配置成如下图(图一为hdfs,图二为core)
图一：hdfs

图二：core
然后进入usr/local/hadoop/bin目录，进行格式化，格式化语句为./hdfs namenode -format(这是第一次使用的时候这么用，后面用hdfs fds xxxx),
出现status 0才行，如下图
在这里插入图片描述
接下来就很顺利了

毛毛的猫毛
关注
  • 0
    点赞
  • 踩
  • 6
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
hadoop命令
song316的专栏
09-21 285
1）通过命令把文件放到hadoop文件系统中。 ./hadoop fs -put filename hdfs://localhost:9000 //fs是指操作文件系统localhost:50070 ./hadoop fs -put *.sh /input //把当前文件夹下的所有.sh文件放到hdfs的input目录下.2)在hdfs中创建文件夹 ./hadoop fs -mk
hadoop配置、运行错误总结
weixin_30808575的博客
03-22 123
一、hadoop集群在namenode格式化（bin/hadoop namenode -format）后重启集群会出现如下 Incompatible namespaceIDS in … :namenode namespaceID = … ,datanode namespaceID=… 错误，原因是格式化namenode后会重新创建一个新的namespaceID,以至于和datanode...
freeyapplefreey
qq_51498372的博客
09-10 178
export JAVA_HOME=/usr/lib/jvm/jdk1.8.0_162 export exportJAVA_HOME=/usr/lib/jvm/jdk1.8.0_162 export JRE_HOME=${JAVA_HOME}/jre exportCLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib export PATH=${JAVA_HOME}/bin:$PATH JRE_HOME=${JAVA_HOME}/jre export CLAS
关于hadoop的配置文件引起的input/output error
weixin_46574200的博客
04-09 6184
这个问题是关于配置文件没有配好，在路径 /usr/local/hadoop/etc/hadoop中有两个配置文件，hdfs-site.xml和core-site.xml,配置成如下图(图一为hdfs,图二为core) 然后进入usr/local/hadoop/bin目录，进行格式化，格式化语句为./hdfs namenode -format(这是第一次使用的时候这么用，后面用hdfs fds...
hadoop常见错误总结
xuefengmiao的专栏
05-02 648
hadoop常见错误总结（3）
hadoop集群搭建_hadoop配置文件修改
01-07
hadoop配置文件修改 先进入hadoop配置文件所在路径: cd /usr/local/src/hadoop-2.6.1/etc/hadoop 修改slaves vim slaves 修改core-site.xml vim core-site.xml fs.defaultFS hdfs://192.168.43.10:9000 #主机...
hadoop的默认配置文件
08-12
在Hadoop的运行中，配置文件扮演着至关重要的角色，它们定义了系统的行为和性能参数。接下来，我们将详细探讨这四个默认配置文件——hdfs-default.xml、yarn-default.xml、core-default.xml和mapred-default.xml，...
Hadoop分布式配置文件core-site.xml
最新发布
06-21
Hadoop分布式配置文件core-site.xml，用于在搭建Hadoop分布式集群时，设置集群规划所用，集群中虚拟机都需要修改该配置文件，除此之外，还需要修改其他配置文件，包括hdfs-site.xml、mapred-site.xml和yarn-site.xml...
hadoop配置文件
07-13
配置hadoop2.0，按照文档执行就可以了
hadoop配置文件参数详解1
08-08
Hadoop 配置文件参数详解 Hadoop 配置文件是 Hadoop 集群的核心组件之一，它们控制着 Hadoop 集群的行为和性能。Hadoop 配置文件主要包括 core-site.xml、hdfs-site.xml 和 mapred-site.xml 三个配置文件。这些配置...
hadoop2.7.1使用dfs命令的错误（bin/hdfs dfs -mkidr input的错误）
飘过的春风
12-11 1万+
hadoop2.7.1 相对路径不能用，似乎必须用绝对路径创建？？？？ bin/hdfs dfs -mkdir input错误 提示“ls: `input': No such file or directory” （环境是hadoop2.7 centos 64位 ） 第一步错误必须换成hadoop dfs -mkdir /input bin/hdfs fs
Ubuntu配置伪分布式hadoop时报错：localhost: mkdir: 无法创建目录"/usr/local/hadoop/logs": 权限不够...
weixin_30354675的博客
05-09 3874
博主在Ubuntu上搭建伪分布式环境时，遇到： 　　启动namenode和datanode进程时，输入：./sbin/start-dfs.sh 时： 　　会报错，仔细看后，错误原因是： 　　localhost: mkdir: 无法创建目录"/usr/local/hadoop/logs": 权限不够 经过多次查找资料和环境检查，最终找到了解决方法： 输入指令： 　　s...
执行hadoop fs -mkdir时，提示mkdir: `/user/hadoop/': No such file or directory
热门推荐
weixin_41018467的博客
02-17 1万+
这是因为一开始父目录也不存在（也就是/user不存在） 执行命令 hdfs dfs -mkdir -p /user/hadoop 或者 hadoop fs -mkdir -p /user/hadoop/   -p标志表示还将创建通向给定目录的所有不存在的目录。   参考网址： https://stackoverflow.com/questions/40143528/hdf...
hadoop集群执行jar wordcount 没有输出结果
weixin_43734734的博客
04-20 1004
时，第一次执行报错Could not find or load main class ，参照csdn博客。能够正常的执行wordcount jar 并且hdfs能正常生成。2.在yarn-site.xml里添加1的输出结果。这时候能正常执行程序，但hdfs无输出结果。依旧没解决问题，直到我翻阅博客找到一条留言。然后我加上/word.txt再次执行。在执行Hadoop集群运行。
mkdir:无法创建目录““,输入/输出错误
JLU_zhujjie的博客
12-05 2039
一台老机器上。 用户账号和root账号下都无法创建目录了，创建文件也不行。 在谷歌查到说是硬件问题。 所以我重启了reboot，好了。 完毕。
创建目录报错：mkdir: Cannot create directory /user/hadoop/movies/input. Name node is in safe mode.
2301_77284458的博客
06-07 984
解决办法。
mkdir: ‘/opt/hdfsDep‘: Input/output error
浅暖的博客
04-17 225
执行hdfs dfs -mkdir -p /opt/hdfsDepo时，报错：mkdir: `/opt/hdfsDep': Input/output error，应该是配置文件的问题。修改Hadoop配置文件hdfs-site.xml，core-site.xml。进入usr/local/hadoop-3.3.6/bin目录，进行格式化，
hadoop进行wordcount测试时，没有wcoutput,或者wcoutput没有两个文件
Aige_hml的博客
06-14 742
有博主说是因为word.txt里面存在空行，把空行删除就可以了，但是对我没有用；也有博主说是应该在wcinput/word.txt,但是我也试过没有用，后来等了十几分钟自己又重新运行了命令，就直接出来了，很无语，wcoutput好像有没有都没有影响，这小小的bug卡了两个小时，小白真的很痛苦。wordcount在页面上运行不出来，只出个temp，去/opt/module/hadoop-3.1.3/etc/hadoop里vim mapred-site.xml 添加。
Hadoop（十四）MapReduce原理分析
weixin_30820151的博客
11-24 161
阅读目录(Content) 一、MapReduce并行处理的基本过程 二、MapRrduce输入与输出问题 三、MapReduce实际处理流程 四、一个job的运行流程 4.1、提交作业 4.2、作业初始化 4.3、任务的分配 4.4、任务的执行 4.5、更新任务的执行进度和状态 4.6、任务完成 五、MapReduce框架结构及核心运行机制 5.1、结构 ...
hadoop配置文件详解
09-08
Hadoop配置文件是用来配置Hadoop集群的参数和属性的文件。它们位于Hadoop安装目录的`etc/hadoop`文件夹中。以下是一些常见的Hadoop配置文件及其详解： 1. **core-site.xml**: 这个配置文件包含了Hadoop核心的配置...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值