MapReduce实例，词频统计，如何在idea上运行，并且能再本地测试

最新推荐文章于 2023-05-15 09:15:34 发布

一撇带一点

最新推荐文章于 2023-05-15 09:15:34 发布

阅读量2.7k

点赞数 5

分类专栏：大数据文章标签： hadoop

本文链接：https://blog.csdn.net/qq_45683188/article/details/108365335

版权

大数据专栏收录该内容

11 篇文章 2 订阅

订阅专栏

 词频统计，作为大数据中数据分析的一个基本代码

现在在csdn中大部分的文章都是说如何用eclipse写的代码，而且绝大部分都没有如何介绍在本地运行，都是放在服务器运行，作为一个刚接触数据分析的萌新，而且对idea有着很深的执念的我而言，写这个简单的小程序，还想让这个程序能够在本地上运行，在写的时候就是困难很多
废话少说了，现在正是进入主题
我这里介绍的主要是用idea的maven来进行写词频统计，利用maven主要是为了帮助我们下需要用的jar包，这样就不用我们费心去找jar包了，而且找错了，也是件非常麻烦的事情
maven需要到指定的官网进行下载，Maven在使用之前，需要进行一些配置。这里的话，我就不进行过多的解释了，这里就引用一位大佬的文章吧
https://blog.csdn.net/weixin_43671437/article/details/105143206
然后就是正式创建这个maven项目了
在这里插入图片描述

当你创建完你的maven项目的时候

在这里插入图片描述
你可能就是对于这样的界面感觉到一种陌生，和之前创建java项目的目录确实不怎么一样、我当时第一次见到这个界面的时候也是特别的陌生，也是心里寻思着在哪里建立java文件来

建立java文件如图所示，就是建立在src目录下的main中的java目录下建立java文件。
通过mapreduce写词频统计需要导入大量的jar包，这也是为什么使用maven框架的一个原因，使用MapReduce写词频统计实现在本地上的运行，需要用到hadoop这个分布式的框架，这也就需要我们下一个hadoop文件，然后给hadoop这个文件下的bin目录配置到我们本地的环境变量下的path路径，这样仅仅是个开始
接下来就是比较核心的地方了
pom.xml
对于Maven框架的简单的理解，真实的感受到pom.xml文件确实是他的一个灵魂，这个文件关乎这他会给你下什么样的文件满足你的个人服务

<dependencies>

    <dependency>
        <groupId>junit</groupId>
        <artifactId>junit</artifactId>
        <version>RELEASE</version>
    </dependency>


    <dependency>
        <groupId>log4j</groupId>
        <artifactId>log4j</artifactId>
        <version>1.2.17</version>
    </dependency>

    <dependency>
        <groupId>org.apache.hadoop</groupId>
        <artifactId>hadoop-common</artifactId>
        <version>2.7.2</version>
    </dependency>


    <dependency>
        <groupId>org.apache.hadoop</groupId>
        <artifactId>hadoop-client</artifactId>
        <version>2.7.2</version>
    </dependency>

    <dependency>
        <groupId>org.apache.hadoop</groupId>
        <artifactId>hadoop-hdfs</artifactId>
        <version>2.7.2</version>
    </dependency>

</dependencies>

这是我的这个文件的一个代码，这个代码是根据我安装的hadoop2.60所匹配的，如果你用错了，他可能就会直接给你报错
诸如：
Exception in thread “main" java.lang.UnsupportedClassVersionError
和Exception in thread “main” java.lang.NullPointerException等的错误
这个时候就是要么更换你的hadoop文件的版本或者看看你的hadoop文件环境变量是否正确
到这里，只需要再完成一项工作，就可以完成你写这个MapReduce版本的词频统计这个本地测试版本的java程序了
在这里插入图片描述
那就是我们创建一个resource目录，在main目录下创建
然后我们创建log4j.properties这个文件
具体的代码如下

 #Global logging configuration 开发时候建议使用 debug
log4j.rootLogger=DEBUG, stdout
# Console output...
log4j.appender.stdout=org.apache.log4j.ConsoleAppender
log4j.appender.stdout.layout=org.apache.log4j.PatternLayout
log4j.appender.stdout.layout.ConversionPattern=%5p [%t] - %m%n

要是没有这个文件，就会直接暴露
WARN No appenders could be found for logger
等这样的错误
然后这就是简单的准备工作，接下来就是具体的代码部分了
关于这个词频统计MapReduce版的的书写的思路这个就不用过多的赘述了，反正也是比较简单的，个人可以看看视频和一些大佬的文章
接下阿里就是正式的代码部分的内容了
先是Map阶段的代码

import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.Text;

import org.apache.hadoop.mapreduce.Mapper;

import java.io.IOException;

//LongWritable 距离文件第一个差多少偏移量 为key
//值为Text
public class WordCountMapper extends Mapper<LongWritable, Text, Text, IntWritable> {
    protected void map(LongWritable key, Text value,Context context) throws IOException, InterruptedException {

        //一行数据
        String line = value.toString();

        //按照空格切分数据
        String[] words = line.split(" ");

        //遍历数组，把单词变成（word,1）形式交给框架
        for (String word : words) {
            System.out.println(word);
            context.write(new Text(word), new IntWritable(1));
            //(word,1)
        }
    }
}

然后就是Reduce阶段的代码

import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Reducer;

import java.io.IOException;

public class WordCountReducer extends Reducer<Text, IntWritable,Text,IntWritable> {
    @Override
    //key 1个key, values 很多个1
    protected void reduce(Text key, Iterable<IntWritable> values, Context context) throws IOException, InterruptedException {
        int sum = 0;
        for(IntWritable val:values)
        {
            sum+=val.get();
        }
        context.write(key,new IntWritable(sum));
    }
}

最后就是Driver阶段的代码

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;

import java.io.IOException;

public class Driver {
    public static void main(String[] args)  {
//设置输入和输出的路径
            args=new String[2];
            args[0]= "D:\\LIB\\hello.txt";
            args[1]="D:\\LIB\\output";
            //1:获取job信息
            Configuration configuration=new Configuration ();
            try {
                Job job=Job.getInstance (configuration);
                //2：获取jar包信息
                job.setJarByClass (Driver.class);
                //3：关联自定义的mapper和reduceer
                job.setMapperClass (WordCountMapper.class);
                job.setReducerClass (WordCountReducer.class);
                //4：设置map输出类型数据
                job.setMapOutputKeyClass (Text.class);
                job.setMapOutputValueClass (IntWritable.class);
                //5：设置最终输出数据类型
                job.setOutputKeyClass (Text.class);
                job.setOutputValueClass (IntWritable.class);
                //以下的的四行代码设立的原因是为了解决你的输出目录已经存在文件的情况，如果你的输出目录已经存在文件夹，那么你是无法进行输出的
                //所以我们就对进行检测，如果存在就把他删了
                Path path = new Path(args[1]);// 取第1个表示输出目录参数（第0个参数是输入目录）
                FileSystem fileSystem = path.getFileSystem(configuration);// 根据path找到这个文件
                if (fileSystem.exists(path)) {
                    fileSystem.delete(path, true);// true的意思是，就算output有东西，也一带删除
                }

                //6：设置数据输入和输出文件路径
                FileInputFormat.setInputPaths (job,new Path (args[0]));
                FileOutputFormat.setOutputPath (job,new Path (args[1]));
                boolean a = job.waitForCompletion (true);
                System.out.println (a );
            } catch (IOException e) {
                e.printStackTrace ( );
            } catch (InterruptedException e) {
                e.printStackTrace ( );
            } catch (ClassNotFoundException e) {
                e.printStackTrace ( );
            }


            //提交代码
        }
}

在Driver阶段的代码
args【0】是我的输出文件的目录
args【1】是我的输入文件的目录，这个是一个文件夹的形式，这里需要注意的两点，首先就是你的目录不能输错，第二个就是你的输入文件的目录里面是不能有任何一个文件，是空的文件夹
这里我们用了一下四行代码解决这个第二个问题

Path path = new Path(args[1]);// 取第1个表示输出目录参数（第0个参数是输入目录）
                FileSystem fileSystem = path.getFileSystem(configuration);// 根据path找到这个文件
                if (fileSystem.exists(path)) {
                    fileSystem.delete(path, true);// true的意思是，就算output有东西，也一带删除
                }

这四行代码的思路就是获得你这个输出目录来，然后看是否存在文件，如果存在文件，就直接给你删了
最后还需要注意的是，你的所有目录是不能出现中文的，出现中文也是会直接报错的
以下就是我们的文件的目录的展示以及结果的展示图片
在这里插入图片描述

在这里插入图片描述
idea的执行结果的部分截图

展示负责接受输出结果文件的截图
以上就是我对于这个项目从开始对于各种jar包的导入以及各种文件的设置的准备工作，代码部分，以及对于部分需要注意的错误的简单介绍，对于这个项目最难的并不是代码部分，而是你的准备部分，你需要下那些jar包，还要保证jar包的版本统一性

一撇带一点

关注

5
点赞
踩
29

收藏

觉得还不错? 一键收藏
2
评论
MapReduce实例，词频统计，如何在idea上运行，并且能再本地测试

词频统计，作为大数据中数据分析的一个基本代码现在在csdn中大部分的文章都是说如何用eclipse写的代码，而且绝大部分都没有如何介绍在本地运行，都是放在服务器运行，作为一个刚接触数据分析的萌新，而且对idea有着很深的执念的我而言，写这个简单的小程序，还想让这个程序能够在本地上运行，在写的时候就是困难很多废话少说了，现在正是进入主题我这里介绍的主要是用idea的maven来进行写词频统计，利用maven主要是为了帮助我们下需要用的jar包，这样就不用我们费心去找jar包了，而且找错了，也是件非常.
复制链接

扫一扫