安装windows依赖
首先去官网下好对应版本的hadoop for windows依赖,然后修改环境变量。
配置环境变量
增加系统变量
配置 Path 环境变量
然后运行winutils.exe,没有报错说明安装依赖成功
IDEA里创建Maven项目
更改pom.xml里的配置信息
pom.xml 就是 maven 的配置文件,用以描述项目的各种信息
加入如下内容
首先是hadoop版本,为3.1.3
其次junit是一个测试单元。
log4j12是用来打印日志,控制日志级别
<dependencies>
<dependency>
<groupId>org.apache.hadoop</groupId>
<artifactId>hadoop-client</artifactId>
<version>3.1.3</version>
</dependency>
<dependency>
<groupId>junit</groupId>
<artifactId>junit</artifactId>
<version>4.12</version>
</dependency>
<dependency>
<groupId>org.slf4j</groupId>
<artifactId>slf4j-log4j12</artifactId>
<version>1.7.30</version>
</dependency>
</dependencies>
配置好需要restart一下以下载这些依赖。
这些依赖下载时间有点久,时间又有点晚了等到了第二天…
新建log4j.properties文件
在项目的 src/main/resources 目录下,新建一个文件,命名为“log4j.properties”,在文件中填入
log4j.rootLogger=INFO, stdout
log4j.appender.stdout=org.apache.log4j.ConsoleAppender
log4j.appender.stdout.layout=org.apache.log4j.PatternLayout
log4j.appender.stdout.layout.ConversionPattern=%d %p [%c] - %m%n
log4j.appender.logfile=org.apache.log4j.FileAppender
log4j.appender.logfile.File=target/spring.log
log4j.appender.logfile.layout=org.apache.log4j.PatternLayout
log4j.appender.logfile.layout.ConversionPattern=%d %p [%c] - %m%n
指INFO级别,在控制台进行打印。