在MapReduce中如何运行WordCount进行字数统计

最新推荐文章于 2021-12-26 18:45:03 发布

KANRIS

最新推荐文章于 2021-12-26 18:45:03 发布

阅读量570

点赞数

文章标签：大数据

本文链接：https://blog.csdn.net/KANRIS/article/details/111402822

版权

本文介绍了如何在MapReduce环境中运行WordCount程序进行字数统计。首先，创建Map/Reduce项目，命名为WordCount，然后新建Class，设置Package和Name。接着，将文件上传到HDFS，编写并运行WorldCount程序。最后，查看统计结果并下载到本地，实验完成。

摘要由CSDN通过智能技术生成

第一步：点击 File 菜单，选择 New -> Project…
在这里插入图片描述
第二步：选择 Map/Reduce Project，点击 Next。

第三步：填写 Project name 为 WordCount 即可，点击 Finish 就创建好了项目。

第四步：接着右键点击刚创建的 WordCount 项目，选择 New -> Class。

在 Package 处填写 org.apache.hadoop.examples；在 Name 处填写 WordCount。

创建 Class 完成后，在 Project 的 src 中就能看到 WordCount.java 这个文件。

第五步：将文件上传至hdfs上：
(ps.因为笔者的Hadoop有点问题，所以借用了同学的电脑进行此实验)

在这里插入图片描述
第六步：编写并运行WorldCount程序以进行字数统计：

package org.apache.hadoop.examples;
import java.io.IOException;
import java.util.Iterator;
import java.util.StringTokenizer;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.Mapper;
import org.apache.hadoop.mapreduce.Reducer;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop