啥也不装，基于eclipse对MapReduce程序进行运行和调试，学习用

最新推荐文章于 2020-12-06 23:04:00 发布

码破苍穹

最新推荐文章于 2020-12-06 23:04:00 发布

阅读量317

点赞数

分类专栏：大数据相关

本文链接：https://blog.csdn.net/leokingszx/article/details/80660448

版权

大数据相关专栏收录该内容

20 篇文章 0 订阅

订阅专栏

不需要在windows下建立hadoop环境，其目的是单机调试，并看看相关的源码等。

步骤：

1、建立一个java project之后，将其转化为maven project

2、在pom.xml 中引入相关的hadoop库。Hadoop相关的有4个。我的选用了2.4.0的版本。还要加上一个jtool的包。pom.xml如下

<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
  <modelVersion>4.0.0</modelVersion>
  <groupId>HadoopTest</groupId>
  <artifactId>HadoopTest</artifactId>
  <version>0.0.1-SNAPSHOT</version>
  <build>
    <sourceDirectory>src</sourceDirectory>
    <plugins>
      <plugin>
        <artifactId>maven-compiler-plugin</artifactId>
        <version>3.7.0</version>
        <configuration>
          <source>1.8</source>
          <target>1.8</target>
        </configuration>
      </plugin>
    </plugins>
  </build>
  <dependencies>
	<dependency>
		<groupId>org.apache.hadoop</groupId>
		<artifactId>hadoop-common</artifactId>
		<version>2.4.0</version>
		<scope>provided</scope>
	</dependency>
	<dependency>
		<groupId>org.apache.hadoop</groupId>
		<artifactId>hadoop-mapreduce-client-core</artifactId>
		<version>2.4.0</version>
	</dependency>
	
	<dependency>
		<groupId>org.apache.hadoop</groupId>
		<artifactId>hadoop-mapreduce-client-common</artifactId>
		<version>2.4.0</version>
	</dependency>
	
	<dependency>
		<groupId>org.apache.hadoop</groupId>
		<artifactId>hadoop-hdfs</artifactId>
		<version>2.4.0</version>
	</dependency>
	<dependency>
    <groupId>jdk.tools</groupId>
    <artifactId>jdk.tools</artifactId>
    <version>1.6</version>
    <scope>system</scope>
    <systemPath>${JAVA_HOME}/lib/tools.jar</systemPath>
</dependency>
	
  </dependencies>
  
</project>

3、在如下位置加入log4j文件以显示日志。

其内容如下：

# Configure logging for testing: optionally with log file

#log4j.rootLogger=debug,appender
log4j.rootLogger=info,appender
#log4j.rootLogger=error,appender

#\u8F93\u51FA\u5230\u63A7\u5236\u53F0
log4j.appender.appender=org.apache.log4j.ConsoleAppender
#\u6837\u5F0F\u4E3ATTCCLayout
log4j.appender.appender.layout=org.apache.log4j.TTCCLayout

4、对主函数，使用java application运行