hadoop官方下载地址:https://hadoop.apache.org/releases.html
1 解压后的Hadoop需要放在与Java Jdk同一个盘符中
2 Hadoop和Jdk的目录如果有空格会识别不出来。
出现此类问题会报错:Hadoop Error: JAVA_HOME is incorrectly set.或者C:\'Program' 不是内部或者外部命令,也不是可运行的程序
例如在:Program Files目录下面,在配置环境变量时,可以:
1、用路径替代符替代:C:\PROGRA~1
2、用引号括起来:"C:\Program Files"
配置完毕后可在命令行输入hadoop命令来检验。
3 在网上搜索对应hadoop版本的hadoop.dll和winutils.exe文件,将hadoop.dll文件放入C:\Windows\System32中,并将winutils.exe以及连带文件和hadoop.dll一起放入Hadoop中的bin目录下C:\hadoop-2.7.7\bin
出现此类问题运行程序时会报错:winutils.exe找不到
4 配置对应log4j日志:在idea的resources目录下新建log4j.properties文件,并在文件中加入以下内容
log4j.appender.encoding = UTF-8
log4j.rootLogger=INFO,CONSOLE
#log4j.rootLogger=INFO
#log4j.rootLogger=ERROR,ERRORLOG
log4j.appender.CONSOLE=org.apache.log4j.ConsoleAppender
log4j.appender.CONSOLE.Target=System.out
log4j.appender.CONSOLE.layout=org.apache.log4j.PatternLayout
log4j.appender.CONSOLE.layout.ConversionPattern=%d{yyyy-MM-dd HH:mm:ss} %-5p [%t] %c %x - %m%n