大数据实验hadoop--通过编程实现词频统计并导出jar在终端运行

最新推荐文章于 2024-06-30 17:10:23 发布

三分奶茶七分糖丶

最新推荐文章于 2024-06-30 17:10:23 发布

阅读量1.7k

点赞数 3

文章标签： mapreduce hadoop 大数据

本文链接：https://blog.csdn.net/qq_40651017/article/details/105954845

版权

本文介绍了如何在Eclipse环境下编写MapReduce程序进行词频统计，详细步骤包括创建词文件夹、编写Java代码、导出Jar包，并在Hadoop终端运行进行词频统计，最后展示输出结果。

摘要由CSDN通过智能技术生成

创建词文件夹

mkdir wordcount

进入文件夹
创建两个词文档

vim word1.txt
vim word2.txt

在这里插入图片描述

打开eclipse编写程序

在这里插入图片描述

1.导入需要的jar

导入此路径下所有jar（下同）
在这里插入图片描述

2.创建package

在这里插入图片描述

3.创建class

在这里插入图片描述

编写代码

代码如下：

package wordcount1;
import java.io.IOException;
import java.util.Iterator;
import java.util.StringTokenizer;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.Mapper;
import org.apache.hadoop.mapreduce.Reducer;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;