从0开始的Hadoop之手写WordCount（Idea版）

最新推荐文章于 2024-06-11 20:12:19 发布

世幻水

最新推荐文章于 2024-06-11 20:12:19 发布

阅读量624

点赞数

分类专栏：大数据文章标签： mapreduce hadoop intellij idea

本文链接：https://blog.csdn.net/weixin_49736959/article/details/109128886

版权

大数据专栏收录该内容

4 篇文章 2 订阅

订阅专栏

本文将从Hadoop的下载安装开始，手写代码并运行出你的第一个MapReduce程序 —— WordCount。实验平台为Windows。

1、Hadoop 的下载和安装

下载地址：https://hadoop.apache.org/releases.html

选择你要需要的版本，然后点击 Binary 下载。
在这里插入图片描述
小编使用的是长期支持版3.2.1，点[击进入以后会有下载链接，点击下载。下载的是.tar.gz的压缩文件，我们需要对其进行解压。

下载Hadoop在windows下的相关文件，注意：要与你的hadoop版本相同
通用下载地址：https://github.com/cdarlint/winutils
(2.6.0): https://github.com/steveloughran/winutils/tree/master/hadoop-2.6.0/bin
在这里插入图片描述

下载上图两个文件之后放到E:\hadoop-3.2.1\bin,其中E:\hadoop-3.2.1是hadoop的解压目录

之后是环境变量的配置。

在这里插入图片描述
ps：其他可选环境变量配置,在本实验中用不到

变量名	值 / 添加值
LD_LIBRARY_PATH	%HADOOP_HOME%\lib\native
PATH	添加 %HADOOP_HOME%\sbin

验证
在cmd中输入hadoop version 看到如下的内容就表示配置成功了! 在这里插入图片描述
注意：如果发现hadoop无法识别自己的用户名可以考虑创建一个新的用户来执行这行命令。

2、使用idea创建一个maven工程。

在这里插入图片描述

新建文件
Main.java
MapperTest.java
ReducerTest.java
log4j.properties
目录结构如下

3、修改文件内容。

3.1 pom.xml

<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0"
        xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
        xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
   <modelVersion>4.0.0</modelVersion>

   <groupId>org.example</groupId>
   <artifactId>hadoop-wordcount</artifactId>
   <version>1.0-SNAPSHOT</version>

   <properties>
   	<!-- 这里填写的是你的jdk的版本 -->
       <maven.compiler.target>11</maven.compiler.target>
       <maven.compiler.source>11</maven.compiler.source>
   </properties>

   <dependencies>
       <dependency>
           <groupId>log4j</groupId>
           <artifactId>log4j</artifactId>
           <version>1.2.17</version>
       </dependency>
       <!-- 要注意3.2.1是我下载hadoop的版本，这个版本号要和hadoop对应 -->
       <dependency>
           <groupId>org.apache.hadoop</groupId>
           <artifactId>hadoop-client</artifactId>
           <version>3.2.1</version>
       </dependency>
       <dependency>
           <groupId>org.apache.hadoop</groupId>
           <artifactId>hadoop-common</artifactId>
           <version>3.2.1</version>
       </dependency>
       <dependency>
           <groupId>org.apache.hadoop</groupId>
           <artifactId>hadoop-hdfs</artifactId>
           <version>3.2.1</version>
       </dependency>
   </dependencies>
   <build>
       <finalName>hadoop_word_count</finalName>
       <plugins>
           <plugin>
               <groupId>org.apache.maven.plugins</groupId>
               <artifactId>maven-shade-plugin</artifactId>
               <version>3.2.0</version>
               <executions>
                   <execution>
                       <phase>package</phase>
                       <goals>
                           <goal>shade</goal>
                       </goals>
                       <configuration>
                           <transformers>
                               <transformer implementation="org.apache.maven.plugins.shade.resource.ManifestResourceTransformer">
                                   <mainClass>wordconunt.Main</mainClass>
                               </transformer>
                           </transformers>
                       </configuration>
                   </execution>
               </executions>
           </plugin>
           <plugin>
               <groupId>org.apache.maven.plugins</groupId>
               <artifactId>maven-compiler-plugin</artifactId>
               <configuration>
               	<!-- 这里填写的是你的jdk的版本 -->
                   <source>11</source>
                   <target>11</target>
               </configuration>
           </plugin>
       </plugins>
   </build>
</project>

3.2 Main.java

package wordconunt;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;

import java.io.IOException;

public class Main {
    public static void main(String[] args) throws IOException,
            IllegalArgumentException, ClassCastException, ClassNotFoundException, InterruptedException {
        // 加载配置类
        Configuration conf = new Configuration();
        // 获取Job对象
        Job job = Job.getInstance();

        // 设置jar存储的位置
        job.setJarByClass(Main.class);

        // 关联Mapper 和 reducer
        job.setMapperClass(MapperTest.class);
        job.setReducerClass(ReducerTest.class);

        // 设置Mapper输出阶段的数据键值的类型
        job.setMapOutputKeyClass(Text.class);
        job.setMapOutputValueClass(IntWritable.class);
        
        // 设置最终输出阶段的数据键值的类型
        job.setOutputKeyClass(Text.class);
        job.setOutputValueClass(IntWritable.class);

        // 设置输出和输入路径
        FileInputFormat.setInputPaths(job, new Path(args[0]));
        FileOutputFormat.setOutputPath(job, new Path(args[1]));
        //提交job
        boolean res = job.waitForCompletion(true);
        System.exit(res?0:1);
    }
}

3.3 MapperTest.java

package wordconunt;

import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Mapper;

import java.io.IOException;

public class MapperTest extends Mapper<LongWritable, Text, Text, IntWritable> {
   Text wordText = new Text();
   IntWritable outValue = new IntWritable(1);

   @Override
   protected void map(LongWritable key, Text value, Mapper.Context context)
           throws IOException, InterruptedException {
       // 读取一行
       String line = value.toString();
       // 安装空格进分词
       String[] words = line.split(" ");//分词
       // 遍历每一个词
       for(String word : words) {
           wordText.set(word);
           //写出
           context.write(wordText, outValue);
       }
   }
}

3.4 ReducerTest.java

package wordconunt;

import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Reducer;

import java.io.IOException;


public class ReducerTest extends Reducer<Text, IntWritable, Text, IntWritable> {
   /**
    * key 输入的 键
    * value 输入的 值
    * context 上下文对象,用于输出键值对
    */
   @Override
   protected void reduce(Text key, Iterable<IntWritable> value,
                         Context context) throws IOException, InterruptedException {

       int sum=0;
       // 1 . 累计求和
       for (IntWritable number : value) {
           sum += number.get();
       }
       // 2 . 写出
       context.write(key, new IntWritable(sum));
   }
}

3.5 log4j.properties

# priority  :debug<info<warn<error
# 这里的顺序和后面的配置顺序要一致
log4j.rootLogger=stdout,debug
#console
log4j.appender.stdout=org.apache.log4j.ConsoleAppender
log4j.appender.stdout.layout=org.apache.log4j.PatternLayout
log4j.appender.stdout.layout.ConversionPattern= [%d{yyyy-MM-dd HH:mm}]:%p %l%m%n


#debug log
log4j.logger.debug=debug
log4j.appender.debug=org.apache.log4j.DailyRollingFileAppender
log4j.appender.debug.DatePattern='_'yyyy-MM-dd'.log'
log4j.appender.debug.File=./log/debug.log
log4j.appender.debug.Append=true
log4j.appender.debug.Threshold=DEBUG
log4j.appender.debug.layout=org.apache.log4j.PatternLayout
log4j.appender.debug.layout.ConversionPattern=%d{yyyy-MM-dd HH:mm:ss a} [Thread: %t][ Class:%c >> Method: %l ]%n%p:%m%n

4、设置输入输出文件

4.1 新建输入文件夹，并在其中新建一个文件，输入一些词，（如下，小编在自己的E盘新建了一个input文件夹作为输入，并且在里面建立了一个文件名为“in”的文件，输入了如下内容。

123 123
asd aa
123 hadoop
hdfs hdfs
name

在这里插入图片描述
4.2 设置输出输出变量。
点击绿色小三角运行，这里控制台会提示错误，不用管，只是获取一下运行时配置。

保存一下这个运行配置。

保存之后进行编辑，在程序参数里写入输入文件夹路径，和输出文件夹路径（注意：这里的输出路径是一个不存在的文件夹路径）
在这里插入图片描述

配置成功之后点击ok，就可以运行了