调用MapReduce对文件中各个单词出现次数进行统计

这篇博客详细介绍了如何在Ubuntu Kylin环境下,利用Hadoop MapReduce对超过10000个英文单词的文件进行词频统计。首先,将文件上传到HDFS,然后在Eclipse中创建Java项目,添加所需JAR包,编写并运行WordCount程序。接着,通过Hadoop命令运行程序,最后在HDFS中查看并下载统计结果。
摘要由CSDN通过智能技术生成

调用MapReduce对文件中各个单词出现次数进行统计
实验配置:系统:Ubuntu Kylin | 环境:Hadoop | 软件:Eclipse

要求
1.将待分析的文件(不少于10000英文单词)上传到HDFS
2.调用MapReduce对文件中各个单词出现的次数进行统计
3.将统计结果下载本地。

操作步骤:调用MapReduce执行WordCount对单词进行计数**
一:
• 1. 在Eclipse中创建项目
• 2. 为项目添加需要用到的JAR包
• 3. 编写Java应用程序
• 4. 编译运行程序
• 5. 应用程序部署
二:
• 1. 在Eclipse中创建项目
• 2. 为项目添加需要用到的JAR包
• 3. 编写Java应用程序
• 4. 编译打包程序
• 5. 运行程序

(一):
1.打开Eclipse,通过打开终端输入相关命令打开Eclipse,然后需要填写workspace(工作空间),用来保存程序所在的位置,这里按照默认,无需改动,无脑下一步,如下图,点击“OK”按钮,进入Eclipse软件。
在这里插入图片描述在这里插入图片描述

2.选择“File->New->Java Project”菜单,开始创建一个Java工程,选择系统安装的jdk开发工具,如下图所示
在这里插入图片描述

(二):
1.进行下一步设置,如下图
在这里插入图片描述

2.点击界面中的“Libraries”选项,然后,点击界面右侧的“Add External JARs…”,如下图
在这里插入图片描述

3.进入到common目录,然后,界面会显示出common目录下的所有内容,用鼠标点击选中hadoop-common-2.7.1.jar和haoop-nfs-2.7.1.jar,然后点击界面右下角的“确定”按钮,就可以把这两个JAR包增加到当前Java工程中,如下图

  • 2
    点赞
  • 4
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
首先,你需要编写 MapReduce 程序来对文件单词出现次数进行统计。下面是一个简单的示例程序: ```java import java.io.IOException; import java.util.StringTokenizer; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.Path; import org.apache.hadoop.io.IntWritable; import org.apache.hadoop.io.LongWritable; import org.apache.hadoop.io.Text; import org.apache.hadoop.mapreduce.Job; import org.apache.hadoop.mapreduce.Mapper; import org.apache.hadoop.mapreduce.Reducer; import org.apache.hadoop.mapreduce.lib.input.FileInputFormat; import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat; public class WordCount { public static class TokenizerMapper extends Mapper<LongWritable, Text, Text, IntWritable>{ private final static IntWritable one = new IntWritable(1); private Text word = new Text(); public void map(LongWritable key, Text value, Context context) throws IOException, InterruptedException { StringTokenizer itr = new StringTokenizer(value.toString()); while (itr.hasMoreTokens()) { word.set(itr.nextToken()); context.write(word, one); } } } public static class IntSumReducer extends Reducer<Text,IntWritable,Text,IntWritable> { private IntWritable result = new IntWritable(); public void reduce(Text key, Iterable<IntWritable> values, Context context) throws IOException, InterruptedException { int sum = 0; for (IntWritable val : values) { sum += val.get(); } result.set(sum); context.write(key, result); } } public static void main(String[] args) throws Exception { Configuration conf = new Configuration(); Job job = Job.getInstance(conf, "word count"); job.setJarByClass(WordCount.class); job.setMapperClass(TokenizerMapper.class); job.setCombinerClass(IntSumReducer.class); job.setReducerClass(IntSumReducer.class); job.setOutputKeyClass(Text.class); job.setOutputValueClass(IntWritable.class); FileInputFormat.addInputPath(job, new Path(args[0])); FileOutputFormat.setOutputPath(job, new Path(args[1])); System.exit(job.waitForCompletion(true) ? 0 : 1); } } ``` 在这个程序,`TokenizerMapper` 类将输入文件的每行按空格分割为单词,然后将每个单词作为键,将值设置为 `1`,并发射到上下文。 `IntSumReducer` 类对每个键的值进行求和,并将结果输出。 在 `main` 方法,我们设置了 Mapper 和 Reducer 类、输入和输出路径,并启动了我们的作业。 接下来,你可以通过以下步骤使用 IntelliJ IDEA 来运行该程序: 1. 打开 IntelliJ IDEA,并创建一个新项目。 2. 将上述代码复制到新项目的 `WordCount.java` 文件。 3. 点击菜单栏的 `File -> Project Structure`,在弹出的窗口选择 `Libraries`,然后点击 `+` 按钮添加 Hadoop JARs。 4. 在 `Project Structure` 窗口选择 `Artifacts`,然后点击 `+` 按钮添加一个可执行的 JAR 文件。 5. 在 `Main Class` 输入 `WordCount`,然后点击 `OK`。 6. 点击菜单栏的 `Build -> Build Artifacts`,然后选择 `Build`。 7. 在 `out/artifacts/WordCount_jar` 目录下找到生成的 JAR 文件。 8. 在命令行输入以下命令来运行程序: ``` hadoop jar WordCount.jar <input_file_path> <output_directory_path> ``` 注意,你需要将 `<input_file_path>` 替换为包含输入文件的路径,将 `<output_directory_path>` 替换为输出目录的路径。 当作业完成后,你可以在输出目录找到一个包含单词计数的文件

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值