Hadoop词频统计

最新推荐文章于 2024-06-30 17:10:23 发布

weixin_49670340

最新推荐文章于 2024-06-30 17:10:23 发布

阅读量4.2k

点赞数 1

文章标签： hadoop

本文链接：https://blog.csdn.net/weixin_49670340/article/details/122145331

版权

本文详细介绍了如何在Hadoop上进行词频统计，包括创建Java项目，编写并运行WordCount程序，制作JAR包，启动Hadoop，上传文件到HDFS，执行词频统计，以及查看和导出结果。同时，文章提供了HDFS常用命令的总结，帮助读者更好地理解和操作Hadoop文件系统。

摘要由CSDN通过智能技术生成

前提

    1.安装了Linux系统，并且安装了Hadoop下的两个组件HDFS和Mapreduce。

    2.已安装JAVA语言编译软件Eclipse

    3.新建一个txt文本文件用来存放单词

制作JAR包

创建一个Project name 为“WordCount”的Java Project，把mapreduce里面的jar包全部导入到里面，把common里面的jar包也全部导进去，不然执行下面的源代码会报错。创建好Project后，会看到一个名字为“WordCount”的工程，找到刚才创建好的工程名称“WordCount”，然后在该工程名称上点击鼠标右键，在弹出的菜单中选择“New–>Class”菜单。

请添加图片描述

可以看出，Eclipse自动创建了一个名为“WordCount.java”的源代码文件，并且包含了代码“public class WordCount{}”，请清空该文件里面的代码，然后在该文件中输入完整的词频统计程序代码。

    编写JAVA代码

import java.io.IOException;
import java.util.Iterator;
import java.util.StringTokenizer;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.Mapper;
import org.apache.hadoop.mapreduce.Reducer;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;
import org.apache.hadoop.util.GenericOptionsParser;
public class WordCount {
   
    public WordCount() {
   
    }
     public static void main(String[] args) throws Exception {
   
        Configuration conf = new Configuration();
        String[] otherArgs = (new GenericOptionsParser(conf, args)).g