关于hadoop的配置文件引起的inputoutput error

最新推荐文章于 2022-10-14 15:07:48 发布
最新推荐文章于 2022-10-14 15:07:48 发布
阅读量1.9k 收藏
点赞数
分类专栏： java 文章标签： java 后端
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_67401545/article/details/123830588
版权

在这里插入图片描述
这个问题是关于配置文件没有配好，在路径 /usr/local/hadoop/etc/hadoop中有两个配置文件，hdfs-site.xml和core-site.xml,配置成如下图(图一为hdfs,图二为core)
图一：hdfs

图二：core
然后进入usr/local/hadoop/bin目录，进行格式化，格式化语句为./hdfs namenode -format(这是第一次使用的时候这么用，后面用hdfs fds xxxx),
出现status 0才行，如下图
在这里插入图片描述
接下来就很顺利了

发呀发呀哈哈
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
hadoop的默认配置文件
08-12
在Hadoop的运行中，配置文件扮演着至关重要的角色，它们定义了系统的行为和性能参数。接下来，我们将详细探讨这四个默认配置文件——hdfs-default.xml、yarn-default.xml、core-default.xml和mapred-default.xml，...
Hadoop分布式配置文件core-site.xml
最新发布
06-21
Hadoop分布式配置文件core-site.xml，用于在搭建Hadoop分布式集群时，设置集群规划所用，集群中虚拟机都需要修改该配置文件，除此之外，还需要修改其他配置文件，包括hdfs-site.xml、mapred-site.xml和yarn-site.xml...
关于hadoop的配置文件引起的input/output error
weixin_46574200的博客
04-09 6180
这个问题是关于配置文件没有配好，在路径 /usr/local/hadoop/etc/hadoop中有两个配置文件，hdfs-site.xml和core-site.xml,配置成如下图(图一为hdfs,图二为core) 然后进入usr/local/hadoop/bin目录，进行格式化，格式化语句为./hdfs namenode -format(这是第一次使用的时候这么用，后面用hdfs fds...
Hadoop Streaming Input and Output
airings-LME-让学习成为呼吸，让方法成为习惯，让效率成为本能
01-29 527
StreamJob.java run() method: init();  生成 Environment env_ 对象 prePorcessArgs(); parseArgv(); 解析Hadoop Streaming 命令参数，并赋值给StreamJob成员变量 postProcessArgs(); 检查输入参数的完整性，有效性，充分性 setJob
freeyapplefreey
qq_51498372的博客
09-10 176
export JAVA_HOME=/usr/lib/jvm/jdk1.8.0_162 export exportJAVA_HOME=/usr/lib/jvm/jdk1.8.0_162 export JRE_HOME=${JAVA_HOME}/jre exportCLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib export PATH=${JAVA_HOME}/bin:$PATH JRE_HOME=${JAVA_HOME}/jre export CLAS
hadoop集群搭建_hadoop配置文件修改
01-07
hadoop配置文件修改 先进入hadoop配置文件所在路径: cd /usr/local/src/hadoop-2.6.1/etc/hadoop 修改slaves vim slaves 修改core-site.xml vim core-site.xml fs.defaultFS hdfs://192.168.43.10:9000 #主机...
hadoop配置文件
07-13
配置hadoop2.0，按照文档执行就可以了
hadoop配置文件参数详解1
08-08
Hadoop 配置文件参数详解 Hadoop 配置文件是 Hadoop 集群的核心组件之一，它们控制着 Hadoop 集群的行为和性能。Hadoop 配置文件主要包括 core-site.xml、hdfs-site.xml 和 mapred-site.xml 三个配置文件。这些配置...
hadoop命令无法创建目录
m0_53926490的博客
10-14 1777
hadoop命令无法创建目录
Hadoop创建input目录报错
weixin_34293141的博客
02-06 1084
2019独角兽企业重金招聘Python工程师标准>>> ...
hadoop单机版配置
qq_44862918的博客
07-27 1198
一、hadoop启动模式： Hadoop集群有三种启动模式： 单机模式：默认情况下运行为一个单独机器上的独立Java进程，主要用于调试环境 伪分布模式：在单个机器上模拟成分布式多节点环境，每一个Hadoop守护进程都作为一个独立的Java进程运行 完全分布式模式：真实的生产环境，搭建在完全分布式的集群环境 二、jdk安装： jdk安装是常规安装，下载jdk，然后将jdk上传到linux服务器，你可以将jdk放在任何地方，只要你喜欢，他只是一个文件存放的地方而已，不会影响到后续的使用，包放上去后开始解压，
Hadoop 输出目录 已经存在 报错 解决方法
tiantao2788540的专栏
03-29 2495
<br /><br />前一段时间刚开始学习用Hadoop，在输出的时候，每运行一次就要把输出目录给删了，否则就会抛异常。后来就查看Hadoop源码，自定义OutputFormat ，然后重写 checkOutputSpecs 方法，在FileOutputFormat 里面，这个方法会检查输出目录是否存在，如果存在就直接抛异常。
hadoop常见错误总结
xuefengmiao的专栏
05-02 648
hadoop常见错误总结（3）
运行hadoop自己提供的示例时，提示input文件夹不存在的解决方案
spspxl的博客
05-26 4380
当运行hadoop单击版时，提示org.apache.hadoop.mapreduce.lib.input.InvalidInputException: Input path does not exist: file:/usr/local 错误，多数原因是自己所在的用户组对该文件夹没有读写权限，解决办法是利用chgrp、和chown 命令，改变该文件夹所在用户组，和拥有者即可。
Input/output error
yuntianyun的博客
02-18 4134
du:cannot access ‘/data/a…’:Input/output error 当hdfs的日志，报错为 du:cannot access ‘/data/a…’:Input/output error。可能是/data/a磁盘损坏。修复好磁盘即可。
hadoop ：mkdir: 'input': No such file or directory问题
热门推荐
wuruiaoxue的专栏
10-04 2万+
初接触hadoop，遇到的问题真不少。在执行bin/hadoop fs -mkdir input时，出错了。测试发现，bin/hadoop fs -ls也不行。排查了一会才发现是版本的原因：2.x以前的版本这个命令，2.x之后的版本命令改成了：bin/hdfs dfs -mkdir -p 文件名 input目录创建完成之后，开始上传本地目录：bin/hdfs dfs -put /root/data
Ubuntu配置伪分布式hadoop时报错：localhost: mkdir: 无法创建目录"/usr/local/hadoop/logs": 权限不够...
weixin_30354675的博客
05-09 3873
博主在Ubuntu上搭建伪分布式环境时，遇到： 　　启动namenode和datanode进程时，输入：./sbin/start-dfs.sh 时： 　　会报错，仔细看后，错误原因是： 　　localhost: mkdir: 无法创建目录"/usr/local/hadoop/logs": 权限不够 经过多次查找资料和环境检查，最终找到了解决方法： 输入指令： 　　s...
hadoop配置文件详解
09-08
Hadoop配置文件是用来配置Hadoop集群的参数和属性的文件。它们位于Hadoop安装目录的`etc/hadoop`文件夹中。以下是一些常见的Hadoop配置文件及其详解： 1. **core-site.xml**: 这个配置文件包含了Hadoop核心的配置属性，比如文件系统的默认URI、I/O缓冲区大小和权限检查等。其中一个重要的属性是`fs.defaultFS`，它指定了默认的文件系统URI。 2. **hdfs-site.xml**: 这个配置文件包含了Hadoop分布式文件系统（HDFS）的配置属性。它定义了HDFS的数据块大小、副本数量、存储路径等。其中一个重要的属性是`dfs.replication`，它指定了数据块的副本数量。 3. **mapred-site.xml**: 这个配置文件包含了MapReduce框架的配置属性。它定义了作业跟踪器和任务跟踪器的地址、任务重试次数、任务并行度等。其中一个重要的属性是`mapreduce.framework.name`，它指定了使用的MapReduce框架。 4. **yarn-site.xml**: 这个配置文件包含了YARN（Yet Another Resource Negotiator）资源管理框架的配置属性。它定义了资源管理器和节点管理器的地址、任务分配策略、容器内存大小等。其中一个重要的属性是`yarn.resourcemanager.hostname`，它指定了资源管理器的主机名。 这些只是Hadoop配置文件的一部分，还有其他一些配置文件用于特定组件或插件的配置。每个配置文件都有其特定的作用，通过修改这些配置文件，可以根据集群的需求来定制Hadoop的行为和性能。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值