hadoop遇见的错误

原创 2016年09月01日 17:24:08

一:put: `input': No such file or directory

错误来源:

bin/hdfs dfs -put etc/hadoop input
解决方案:
bin/hadoop fs -mkdir /user/root
bin/hadoop fs -mkdir /user/root/input
原因分析:
1可能是本地没有这个文件  但是一般不是这个错误 就是说 etc/hadoop没有这个文件
可以查下 
cd /etc 
ls 
查看一下
2文件存储系统中没有这个文件
bin/hadoop fs -mkdir /user/root
bin/hadoop fs -mkdir /user/root/input


二:Input path does not exist: hdfs://localhost:9000/user/root/input
错误原因同上
文件存储系统中没有这个文件
[root@localhost hadoop-2.7.3]# bin/hadoop fs -mkdir /user/root
[root@localhost hadoop-2.7.3]# bin/hadoop fs -mkdir /user/root/input
创建这个文件

三:log4j:WARN No appenders could be found for logger (org.apache.hadoop.conf.Configuration.deprecation).
原因:没有log45
解决方案
在file project other file log4j.properties
就是在src下创建一个log4j.properties的文件
文件中写入的内容
log4j.rootLogger=INFO, stdout
log4j.appender.stdout=org.apache.log4j.ConsoleAppender
log4j.appender.stdout.layout=org.apache.log4j.PatternLayout
log4j.appender.stdout.layout.ConversionPattern=%d %p [%c] - %m%n
log4j.appender.logfile=org.apache.log4j.FileAppender
log4j.appender.logfile.File=target/spring.log
log4j.appender.logfile.layout=org.apache.log4j.PatternLayout
log4j.appender.logfile.layout.ConversionPattern=%d %p [%c] - %m%n
四:ERROR [main] util.Shell (Shell.java:getWinUtilsPath(336)) - Failed to locate the winutils binary in the hadoop binary path
java.io.IOException: Could not locate executable null\bin\winutils.exe in the Hadoop binaries.
原因 winows电脑通过虚拟机lunix进行hadoop时出现问题
解决方案
下载这个链接的文件
像配置java环境变量一样配置(不用管版本)
五:Error: JAVA_HOME is not set and could not be found
原因:配置环境变量
解决方案:
      修改/etc/hadoop/hadoop-env.sh中设JAVA_HOME。
        应当使用绝对路径。
        export JAVA_HOME=$JAVA_HOME                  //错误,不能这么改
        export JAVA_HOME=/usr/java/jdk1.6.0_45        //正确,应该这么改


六:org.apache.hadoop.security.AccessControlException: org.apache.hadoop.security .AccessControlException: Permission denied: user=Administrator, access=WRITE, inode="hadoop": hadoop:supergroup:rwxr-xr-x
原因:访问权限问题
解决方案"
1、在hdfs的配置文件中,将dfs.permissions修改为false(可能有效)
2、执行这样的操作 hadoop fs -chmod 777 /user/hadoop(亲测有效)


版权声明:本文为博主原创文章,未经博主允许不得转载。

eclipse编译hadoop错误:Input path does not exist: hdfs://192.168.184.21:9001/user/xxxx/input

org.apache.hadoop.mapreduce.lib.input.InvalidInputException: Input path does not exist: 异常 Input pat...
  • lingzhm
  • lingzhm
  • 2014年12月13日 21:06
  • 3441

Hadoop错误2_Hadoop伪分布式下,运行WordCount时,Input path does not exist错误原因

在伪分布式下,按照下面两个博客,分别以命令行方式和Eclipse执行WordCount程序时,都会出现同样的错误, (Eclipse:http://blog.csdn.net/wang_zhenwei...
  • wang_zhenwei
  • wang_zhenwei
  • 2015年08月12日 14:38
  • 8654

hadoop环境配置过程中可能遇到问题的解决方案

Failed to set setXIncludeAware(true) for parser 遇到此问题一般是jar包冲突的问题。一种情况是我们向java的lib目录添加我们自己的jar包导致ha...
  • yutianzuijin
  • yutianzuijin
  • 2013年07月24日 20:22
  • 34652

hadoop各种问题收录(学习笔记)

hadoop各种问题收录(学习笔记)
  • whaoXYSH
  • whaoXYSH
  • 2014年01月14日 11:28
  • 2086

Hadoop安装遇到的各种异常及解决办法(2)

Failed to set setXIncludeAware(true) for parser 遇到此问题一般是jar包冲突的问题。一种情况是我们向java的lib目录添加我们自己的jar包...
  • lifuxiangcaohui
  • lifuxiangcaohui
  • 2014年09月14日 21:57
  • 1113

hadoop hdfs的一些操作

[java] view plaincopy  package com.picc.test;      import java.io.BufferedReader;  ...
  • Linux_l
  • Linux_l
  • 2014年10月16日 22:45
  • 614

Spark中常见问题

Exception in thread “main” org.apache.hadoop.mapred.InvalidInputException: Input path does not exist...
  • lming_08
  • lming_08
  • 2016年05月24日 11:26
  • 2588

Hadoop 集群搭建(单机/伪分布式/分布式)

本教程适用于在 CentOS7 系统中安装 Hadoop2,详细介绍了从系统环境配置、Java环境配置到 Hadoop 安装及 Hadoop 集群配置,包括:单机、伪分布式以及分布式,步骤详细,辅以适...
  • HG_Harvey
  • HG_Harvey
  • 2017年05月31日 11:44
  • 348

Hadoop put、copyFromLocal文件传输命令性能比较

hadoop1.0.3今天测试了下hadoop的shell命令中的put和copyFromLocal命令。在测试之前首先网上搜索了下,找到这篇文章:http://hakunamapdata.com/w...
  • fansy1990
  • fansy1990
  • 2014年03月12日 23:23
  • 4263

hadoop put内部调用,hdfs写文件流程

HDFS是一个分布式文件系统,在HDFS上写文件的过程与我们平时使用的单机文件系统非常不同,从宏观上来看,在HDFS文件系统上创建并写一个文件,流程如下图(来自《Hadoop:The Definiti...
  • aaa1117a8w5s6d
  • aaa1117a8w5s6d
  • 2015年03月10日 15:58
  • 2402
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:hadoop遇见的错误
举报原因:
原因补充:

(最多只允许输入30个字)