【第22期】观点:IT 行业加班,到底有没有价值?

hadoop遇见的错误

原创 2016年09月01日 17:24:08

一:put: `input': No such file or directory

错误来源:

bin/hdfs dfs -put etc/hadoop input
解决方案:
bin/hadoop fs -mkdir /user/root
bin/hadoop fs -mkdir /user/root/input
原因分析:
1可能是本地没有这个文件  但是一般不是这个错误 就是说 etc/hadoop没有这个文件
可以查下 
cd /etc 
ls 
查看一下
2文件存储系统中没有这个文件
bin/hadoop fs -mkdir /user/root
bin/hadoop fs -mkdir /user/root/input


二:Input path does not exist: hdfs://localhost:9000/user/root/input
错误原因同上
文件存储系统中没有这个文件
[root@localhost hadoop-2.7.3]# bin/hadoop fs -mkdir /user/root
[root@localhost hadoop-2.7.3]# bin/hadoop fs -mkdir /user/root/input
创建这个文件

三:log4j:WARN No appenders could be found for logger (org.apache.hadoop.conf.Configuration.deprecation).
原因:没有log45
解决方案
在file project other file log4j.properties
就是在src下创建一个log4j.properties的文件
文件中写入的内容
log4j.rootLogger=INFO, stdout
log4j.appender.stdout=org.apache.log4j.ConsoleAppender
log4j.appender.stdout.layout=org.apache.log4j.PatternLayout
log4j.appender.stdout.layout.ConversionPattern=%d %p [%c] - %m%n
log4j.appender.logfile=org.apache.log4j.FileAppender
log4j.appender.logfile.File=target/spring.log
log4j.appender.logfile.layout=org.apache.log4j.PatternLayout
log4j.appender.logfile.layout.ConversionPattern=%d %p [%c] - %m%n
四:ERROR [main] util.Shell (Shell.java:getWinUtilsPath(336)) - Failed to locate the winutils binary in the hadoop binary path
java.io.IOException: Could not locate executable null\bin\winutils.exe in the Hadoop binaries.
原因 winows电脑通过虚拟机lunix进行hadoop时出现问题
解决方案
下载这个链接的文件
像配置java环境变量一样配置(不用管版本)
五:Error: JAVA_HOME is not set and could not be found
原因:配置环境变量
解决方案:
      修改/etc/hadoop/hadoop-env.sh中设JAVA_HOME。
        应当使用绝对路径。
        export JAVA_HOME=$JAVA_HOME                  //错误,不能这么改
        export JAVA_HOME=/usr/java/jdk1.6.0_45        //正确,应该这么改


六:org.apache.hadoop.security.AccessControlException: org.apache.hadoop.security .AccessControlException: Permission denied: user=Administrator, access=WRITE, inode="hadoop": hadoop:supergroup:rwxr-xr-x
原因:访问权限问题
解决方案"
1、在hdfs的配置文件中,将dfs.permissions修改为false(可能有效)
2、执行这样的操作 hadoop fs -chmod 777 /user/hadoop(亲测有效)


版权声明:本文为博主原创文章,未经博主允许不得转载。 举报

相关文章推荐

Hadoop错误2_Hadoop伪分布式下,运行WordCount时,Input path does not exist错误原因

在伪分布式下,按照下面两个博客,分别以命令行方式和Eclipse执行WordCount程序时,都会出现同样的错误, (Eclipse:http://blog.csdn.net/wang_zhenwei...

eclipse编译hadoop错误:Input path does not exist: hdfs://192.168.184.21:9001/user/xxxx/input

org.apache.hadoop.mapreduce.lib.input.InvalidInputException: Input path does not exist: 异常 Input pat...

程序员升职加薪指南!还缺一个“证”!

CSDN出品,立即查看!

hadoop环境配置过程中可能遇到问题的解决方案

Failed to set setXIncludeAware(true) for parser 遇到此问题一般是jar包冲突的问题。一种情况是我们向java的lib目录添加我们自己的jar包导致ha...

mapreduce error:input path does not exist 的解决方法

运行mapreduce 有时可能出现如下错误: Exception in thread "main":Input path does not exist:file: ******* 一种可能的原因...

Hadoop使用java查询HDFS 错误:Wrong FS: hdfs://localhost:9000/user/hadoop, expected: file:///

利用java插件对hdfs进行操作的时候,查询

错误:org.apache.hadoop.mapreduce.lib.input.InvalidInputException: Input path does not exist: hdfs://localhost/

org.apache.hadoop.mapreduce.lib.input.InvalidInputException: Input path does not exist: 异常Input path...

Hadoop中碰到的一些错误的解决方法

Hadoop 0.20.2安装启动后 jps找不到NameNode 解决方案  单机伪分布式 cat hadoop-hadoop-namenode-ubuntu.log: 2013-01-...

org.apache.hadoop.mapreduce.lib.input.InvalidInputException: Input path does not exist:

一个Hadoop小程序:将Hello world写入文件中,简要代码: public static void main(String[] args) throws Exception { Con...

hadoop环境配置过程中可能遇到问题的解决方案

Failed to set setXIncludeAware(true) for parser 遇到此问题一般是jar包冲突的问题。一种情况是我们向java的lib目录添加我们自己的jar包导致...

Hadoop错误10_bash: hadoop: command not found问题解决

执行 hadoop dfsadmin -safemode leave 命令时,遇到下面的问题: [root@Slave1 bin]# hadoop dfsadmin -safemode leave ...
收藏助手
不良信息举报
您举报文章:深度学习:神经网络中的前向传播和反向传播算法推导
举报原因:
原因补充:

(最多只允许输入30个字)