hadoop 用-get报错get: mkdir `/usr/local/test‘: Input/output error

最新推荐文章于 2023-06-07 17:52:03 发布
最新推荐文章于 2023-06-07 17:52:03 发布
阅读量3k 收藏 1
点赞数 1
文章标签： hadoop big data hdfs
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/wudada88/article/details/123303050
版权
当使用Hadoop的get命令时遇到`get: mkdir `/usr/local/test`: Input/output error`错误，通常是由于没有正确配置分布式环境。解决方法包括使用vi编辑器创建并更新`core-site.xml`和`hdfs-site.xml`配置文件，设置`hadoop.tmp.dir`、`fs.defaultFS`、`dfs.replication`、`dfs.namenode.name.dir`和`dfs.datanode.data.dir`等参数，确保Hadoop临时目录和默认文件系统的正确设定。
摘要由CSDN通过智能技术生成

原因：我没有分布式配置hadoop

解决方案：用vi编辑器新建并修改以下两个配置文件（core-site.xml   core-site.xml ）

[root@wyd4224-1 hadoop]# vi core-site.xml 

文件中写入：

<configuration>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>file:/usr/local/hadoop/tmp</value>

最低0.47元/天 解锁文章
小不酸
关注
Linux arm开发板 Input/output error 错误问题
hpclinux的专栏
09-04 3792
使用微嵌屏幕开发板中，由于长时间的open和write等操作对flash的分区造成的一些问题，出现对应分区目录下ls,rm等系统命令不能执行且有错误问题。可能是硬件损坏，或者是文件系统损坏。通过下面命令进行查看(dmesg | grep err) [root@WQ4418 ~]#dmesg | grep err [ 0.064000] persistent_ram: uncorrecta...
mkdir: ‘/opt/hdfsDep‘: Input/output error
最新发布
浅暖的博客
04-17 312
执行hdfs dfs -mkdir -p /opt/hdfsDepo时，报错：mkdir: `/opt/hdfsDep': Input/output error，应该是配置文件的问题。修改Hadoop配置文件hdfs-site.xml，core-site.xml。进入usr/local/hadoop-3.3.6/bin目录，进行格式化，
freeyapplefreey
qq_51498372的博客
09-10 193
export JAVA_HOME=/usr/lib/jvm/jdk1.8.0_162 export exportJAVA_HOME=/usr/lib/jvm/jdk1.8.0_162 export JRE_HOME=${JAVA_HOME}/jre exportCLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib export PATH=${JAVA_HOME}/bin:$PATH JRE_HOME=${JAVA_HOME}/jre export CLAS
关于hadoop的配置文件引起的inputoutput error
m0_67400973的博客
04-11 2200
这个问题是关于配置文件没有配好，在路径 /usr/local/hadoop/etc/hadoop中有两个配置文件，hdfs-site.xml和core-site.xml,配置成如下图(图一为hdfs,图二为core) 然后进入usr/local/hadoop/bin目录，进行格式化，格式化语句为./hdfs namenode -format(这是第一次使用的时候这么用，后面用hdfs fds xxxx), 出现status 0才行，如下图 接下来就很顺利了 ...
mkdir:无法创建目录““,输入/输出错误
JLU_zhujjie的博客
12-05 2175
一台老机器上。 用户账号和root账号下都无法创建目录了，创建文件也不行。 在谷歌查到说是硬件问题。 所以我重启了reboot，好了。 完毕。
关于hadoop的配置文件引起的input/output error
weixin_46574200的博客
04-09 6361
这个问题是关于配置文件没有配好，在路径 /usr/local/hadoop/etc/hadoop中有两个配置文件，hdfs-site.xml和core-site.xml,配置成如下图(图一为hdfs,图二为core) 然后进入usr/local/hadoop/bin目录，进行格式化，格式化语句为./hdfs namenode -format(这是第一次使用的时候这么用，后面用hdfs fds...
Hadoop安装教程方式
LYH_666的博客
12-25 3181
本次教程首先介绍的是根据个人经验来安装hadoop环境，其次是林子雨老师Hadoop安装教程方式，大家可以自行选择其中一种方式来进行安装。另外，还附送根据个人经验进行虚拟机磁盘扩容，可以说是痛苦经历吧！ 个人安装hadoop快捷方式： 前期准备：virtualbox 虚拟机 下载好的hadoop-2.10.0.tar.gz压缩包 1.安装增强功能 2.设置共享文件夹，因为有时候双向拷贝功能不能使用 3.执行 sudo apt-get update 更新程序 4.执行 sudo apt-get inst
hadoop：hdfs/yarn启动停止
不花的花和尚的博客
05-29 3151
本人环境： 3台虚拟机分别为 sparkproject1 192.168.124.110 sparkproject2 192.168.124.111 sparkproject3 192.168.124.112 linux（vi /etc/hosts）和windows配置hosts文件（C:\Windows\System32\drivers\etc） ： # Copyri...
Hadoop伪分布式集群搭建
qq_37112905的博客
03-20 793
Hadoop版本及虚拟机 在这里我使用的Hadoop版本是2.9.2，jdk版本是1.8 Hadoop2.9.2 http://mirrors.shu.edu.cn/apache/hadoop/common/hadoop-2.9.2/hadoop-2.9.2.tar.gz jdk1.8 https://www.oracle.com/technetwork/java/javase/downloads...
任务一：Hadoop 完全分布式安装配置
ccbbaaap的博客
06-01 347
​ 在伪分布模式的基础上，前面已经将创建好用户、安装ssh服务、安装配置Java环境等，作为Master节点，配置好后需要在各个节点上执行如下命令，测试是否相互ping得通，如果pig不通，后面就无法顺利配置成功。检验免密码是否配置成功（成功后是不用输密码即可登录，同时执行 exit 即可返回到原来的终端）Ps: 在三台虚拟机上的 /etc/profile 文件都需要配置ok。两台虚拟机作为slave节点（分别是Slave1、Slave2）以上在所有节点上都需要完成网络配置。
Hadoop 学习总结之一：HDFS简介
diebiaosang4496的博客
03-14 451
一、HDFS的基本概念 1.1、数据块(block) HDFS(Hadoop Distributed File System)默认的最基本的存储单位是64M的数据块。 和普通文件系统相同的是，HDFS中的文件是被分成64M一块的数据块存储的。 不同于普通文件系统的是，HDFS中，如果一个文件小于一个数据块的大小，并不占用整个数据块存储空间。 1.2、元数据节点(Namenode)和...
创建目录报错：mkdir: Cannot create directory /user/hadoop/movies/input. Name node is in safe mode.
2301_77284458的博客
06-07 1230
解决办法。
hadoop2.7.1使用dfs命令的错误（bin/hdfs dfs -mkidr input的错误）
热门推荐
飘过的春风
12-11 1万+
hadoop2.7.1 相对路径不能用，似乎必须用绝对路径创建？？？？ bin/hdfs dfs -mkdir input错误 提示“ls: `input': No such file or directory” （环境是hadoop2.7 centos 64位 ） 第一步错误必须换成hadoop dfs -mkdir /input bin/hdfs fs
大数据:hadoop的jar包的使用出现的错误，jar包的用法。错误提示：java.lang.NumberFormatException: For input string: “/output“
weixin_45968006的博客
12-20 2509
大数据:hadoop的jar包的使用出现的错误，jar包的用法。错误提示：java.lang.NumberFormatException: For input string: "/output" 问题比较简单，也就是一个使用格式问题，不过我还是建议你看 完文章，确定按照我的步骤去做
怎么设置某个用户生成hdfs文件的权限_HDFS 运维常见问题处理
weixin_39631519的博客
11-20 262
腾讯游戏CROS体系的DBA维护着多套互娱数据平台的核心HDFS集群，积累了不少维护经验。1. 定期block全盘扫描，引起dn心跳超时而脱离集群hdfs有一个目录扫描机制，默认6小时会全盘扫描一次所有block，判断与内存里的那份blockMap是否一致。参考https://blog.cloudera.com/hdfs-datanode-scanners-and-disk-checke...
step9. MapReduce编程实践——WordCount+相关报错和解决方法
weixin_46964107的博客
03-30 1631
MapReduce实现Wordount+报错及解决办法
export PATH=$PATH:/export/servers/hadoop-2.7.4/bin:/export/servers/hadoop-2.7.4/sbin:/usr/local/jdk1.8.0_202/bin还是报错
11-16
第一个问题是没有找到hbase，第二个问题是在本地文件系统下执行hadoop命令时报错。针对您提供的引用内容，我无法直接回答您的问题，因为您并没有提出明确的问题。但是，我可以为您提供一些相关信息，帮助您解决问题...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值