MR | 案例一：统计文件词频

最新推荐文章于 2023-05-21 22:31:12 发布
最新推荐文章于 2023-05-21 22:31:12 发布
阅读量547 收藏
点赞数
文章标签： mapreduce hadoop 大数据 java
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_44249833/article/details/107658645
版权
该博客介绍了一个使用Hadoop MapReduce统计输入文件中单词频率的案例。通过WordCountMapper、WordCountReducer和WordCountDriver三个部分的Java代码实现，详细展示了如何处理大数据并得出不同单词的出现次数。
摘要由CSDN通过智能技术生成

案例要求

求出输入路径中包含的所有文件中不同单词的出现次数。

输入文件示例

在这里插入图片描述

// a.txt
hadoop mapreduce
hdfs
hadoop mapreduce
hdfs
hadoop mapreduce
hdfs
hadoop mapreduce
hdfs
hadoop mapreduce
hdfs

// inputword.txt
tony tony
study
hadoop
hdfs mapreduce
spark mysql

输出结果示例

// part-r-00000
hadoop	6721
hdfs	6721
mapreduce	6721
mysql	1
spark	1
study	1
tony	2

代码实现

WordCountMapper.java

package com.tony.mr.word_count;

import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Mapper;

import java.io.IOException;

/**
 * @author tony
 * @create 2020-07-19 18:41
 */
public class WordCountMapper extends Mapper<Object, Text, Text, IntWritable> {
   

    private Text word = new Text();
    private IntWritable one = new IntWritable(1);

    @Override
    protected void map(Object key, Text value, Context context
最低0.47元/天 解锁文章
给我一杯珍珠奶茶
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
大数据学习笔记10：MR案例——词频统计
howard2005的专栏
01-08 1478
文章目录一、词频统计设计思路1、映射阶段（Map）2、归并阶段（Reduce）（1）不用合并器（Combiner）（2）采用合并器（Combiner）二、词频统计实现步骤1、创建Maven项目WordCount 词频统计是MapReduce的入门案例，类似于学习程序设计的“Hello World”案例。 一、词频统计设计思路 1、映射阶段（Map） 2、归并阶段（Reduce） （1）不用合并器...
词频统计hadoop mr
04-12
简单词频统计，带有注释，方便大家入门hadoop！具体的大家请自己看
MR之词频统计
qq_41924766的博客
06-21 487
MR之词频统计前言一、pandas是什么？二、使用步骤1.引入库2.读入数据总结 前言 本文将的是大数据入门程序词频统计，简单的代码编程，通俗易懂。 一、pandas是什么？ 示例：pandas 是基于NumPy 的一种工具，该工具是为了解决数据分析任务而创建的。 二、使用步骤 1.引入库 代码如下（示例）： import numpy as np import pandas as pd import matplotlib.pyplot as plt import seaborn as sns import
文件方式实现完整的英文词频统计实例
aiyouhu4051的博客
09-26 99
fo=open('test.txt','w')>>> fo.write('''Hong Kong action star Jackie Chan's latest film premiered in Beijing on Sunday at an event. The film, The Foreigner, follows Quan's (played by Cha...
MR案例（1）词频统计
Kox_233的博客
12-07 1284
MapReduce编程实例-词频统计实现
C语言大作业：词频统计程序
03-03
在本项目中，我们面临的是一个C语言编程任务，旨在实现一个词频统计程序。这个程序的主要目标有三个：首先，从指定的文本文件中读取英文内容并将其显示在控制台上；其次，统计文件中每个单词出现的次数；最后，输出...
词频统计：Python 实现
最新发布
05-03
在自然语言处理领域，词频统计是一项基础且重要的任务。它涉及对文本数据中的单词出现次数进行统计和分析。本文旨在探讨如何使用 Python 语言实现词频统计，包括文本预处理、分词、词频计算以及结果的可视化。通过...
一段不简单的词频统计代码（含注释）
06-02
在自然语言处理（NLP）领域，词频统计是一项基础且重要的任务，它涉及到对文本数据中的词汇出现次数的计算。这段代码显然提供了一个简单但功能完备的词频统计实现，帮助用户理解文本的主要构成元素。下面我们将深入...
大型文件中词频的统计
07-14
对文件进行词频统计，最终按照单词出现次数排序输出前100个，并且将统计好的单词写入另一个文件
MR词频统计
weixin_71132847的博客
05-21 72
Override@Override0 : 1);
统计一篇文档中每个单词出现的次数，频率
11-11
从一片文档中提取出所有的单词（word），然后计算每个单词出现的频率（次数），按照一定的次序将排序好的单词以“word（频率）”的形式打印出来。 可以按照频率高低，或者单词顺序打印所有出现的单词。
词频统计
Mr_He_Dan的博客
03-26 797
做一个词频统计程序，该程序具有以下功能 基本要求：（1）可导入任意英文文本文件（2）统计该英文文件中单词数和各单词出现的频率（次数），并能将单词按字典顺序输出。（3）将单词及频率写入文件。#include<stdio.h> #include<stdlib.h> #include<string.h>struct word { char w[50]; char temp[50]; //
大数据学习笔记23：MR案例——采用Combiner做词频统计
howard2005的专栏
01-20 799
文章目录一、提出任务二、准备工作1、启动hadoop服务2、上传数据文件到HDFS3、创建Maven项目WordCount4、修改pom.xml文件，添加依赖5、创建log4j.properties文件三、完成任务1、创建WordCountMapper2、创建WordCountReducer3、创建WordCountDriver4、运行WordCountDriver，查看结果5、创建WordCou...
1.统计文本词频
Firenze__的博客
07-13 811
习题：统计文章的词频 统计一篇英文(The_Holy_Bible.txt)文章中出现的单词和词频， 输入：某篇文章的绝对路径 输出：词典（词典中的内容为每一行都是一个“单词 词频” 词典的存储格式如下 | a 66 | | abandon 77 | | public 88 | | … | |_________________| struct Word { string _word; int _fre; }; vector<W
第一次作业——词频统计
weixin_30326745的博客
03-30 205
一，需要满足的需求 1.统计文件的字符数 2.统计文件的单词书 3.统计文件的行数 4.统计文件中各单词的出现次数 5.对给定文件夹及其递归文件夹下的所有文件进行统计 6.统计两个单词（词组）在一起的频率，输出频率最高的前10个。 二，功能设计： 1.统计 ASCII码 32 到126的字符 2.根据单词定义判断两个分隔符直接是否为一个单词 3.用'\n'来计算行数...
统计文本中每个单词出现的频率（附C++完整程序）
热门推荐
无鞋童鞋的博客
05-23 1万+
文本读入和统计英文单词出现的频率是面试中经常会被提及的一个问题。题目看着很简单，但是考到了很多的知识点，需要你对C++语言很全面的掌握。 　　首先我们看到题目可以想到将其分为两个模块：文本单词的读入和统计英文单词出现频率。那怎样将文本完整的读入缓存字符串数组或者string类对象中自然是首要任务；其次如何处理符号位的影响；最后如何统计单词出现频率。
编写mapreduce程序实现对输入文件的词频统计排序_MapReduce实例分析：单词计数
weixin_40005373的博客
11-20 278
编写mapreduce程序实现对输入文件的词频统计排序_大数据Hadoop面试题（三）——MapReduce...
weixin_39566493的博客
11-24 1060
1、谈谈Hadoop序列化和反序列化及自定义bean对象实现序列化?1）序列化和反序列化（1）序列化就是把内存中的对象，转换成字节序列（或其他数据传输协议）以便于存储（持久化）和网络传输。 （2）反序列化就是将收到字节序列（或其他数据传输协议）或者是硬盘的持久化数据，转换成内存中的对象。（3）Java的序列化是一个重量级序列化框架（Serializable），一个对象被序列化后，会附带很多额外的信...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值