hadoop中MapReduce计算省份出现的次数

最新推荐文章于 2023-01-12 18:12:42 发布
最新推荐文章于 2023-01-12 18:12:42 发布
阅读量364 收藏 6
点赞数
分类专栏： hadoop大数据中MapReduce 文章标签： hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43872893/article/details/117779139
版权

省份提取
1、LogMapper.java
在这里插入图片描述

2、LogReducer.java
在这里插入图片描述

重写reduce方法，
进入到reduce的数据是（山东省，【1,1,1,1,】，（台湾省，【1,1,1,1】））
其中values就是数组
在这里插入图片描述

将取到的值放到sum上
在这里插入图片描述

通过intWritable改成int类型
3、每一个key_value对进行一次
4、开发LogApp.java
main方法
在这里插入图片描述

5、当然也可以放到数据库中，以扇形图等的形式进行展示

Nicole-小碎步
关注
  • 0
    点赞
  • 踩
  • 6
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
专栏目录
超详细的MapReduce WordCount 统计微博评论最多的用户
qq_34575632的博客
07-22 270
超详细的MapReduce WordCount 统计微博评论最多的用户 使用fastjson解析每一行的json List<Map<String,Object>> parses = (List<Map<String,Object>>) JSON.parse(value.toString()); 提取userId for (Map<String, Object> pars : parses) { String new_val
使用MapReduce统计一篇微博数据的点赞次数，并且输出前五个最高的点赞数量。
一曲无痕奈何
10-01 2796
一个MapReduce写了一个下午，调试运行了不下20次了，我靠，真是闹心，差点整崩溃，在最绝望的时候给出了最好的答案。 需求： 使用MapReduce统计一篇微博数据的点赞次数，并且输出前五个最高的点赞数量，输出id和对应的博客内容。 数据介绍： 随着移动互联网、物联网等新技术的迅速发展，人类进入数据时代。大数据带来的信息风暴正深刻改变我们的生活、工作和思维方式，对网络舆情管理也带来深刻...
Hadoop实例学习(四)Mapreduce词频统计
秘密的博客
10-22 4082
目录创建maven项目pom.xml添加依赖添加log文件编写类编写Mapper类编写Reducer类编写Driver驱动!!!不能直接运行因为还没设置输入和输出路径!会遇见的问题常见错误产生原因及解决方法 创建maven项目 pom.xml添加依赖 <dependencies> <dependency> <groupId>org.apache.hadoop</groupId> <ar
Hadoop学习（十一）MapReduce的案列（对一个用户流量的使用量作分析）以及小文件的优化方式。
会写Bug的攻城狮
01-23 418
一，mapper类 package FlowCountTestMapper; import java.io.IOException; import org.apache.hadoop.io.LongWritable; import org.apache.hadoop.io.Text; import org.apache.hadoop.mapreduce.Mapper; /** * @aut...
118.Spark大型电商项目-广告点击流量实时统计-计算每天各省的top3热门广告
someby的博客
04-04 651
本篇文章记录广告点击流量实时统计-计算每天各省的top3热门广告。 代码 domain AdProvinceTop3.java package graduation.java.domain; /** * FileName: AdProvinceTop3 * Author: hadoop * Email: [email protected] * Date: 1...
Hadoop中MapReduce框架入门
03-01
MapReduce是一种分布式计算模型，由Google提出，主要用于搜索领域，解决海量数据的计算问题.对于业界的大数据存储及分布式处理系统来说Hadoop2提出的新MapReudce就是YARN:...
hadoop-mapreduce-client-jobclient-2.6.5-API文档-中文版.zip
05-01
赠送jar包：hadoop-mapreduce-client-jobclient-2.6.5.jar； 赠送原API文档：hadoop-mapreduce-client-jobclient-2.6.5-javadoc.jar； 赠送源代码：hadoop-mapreduce-client-jobclient-2.6.5-sources.jar； 赠送...
Hadoop新MapReduce框架Yarn详解
03-04
使用和学习过老Hadoop框架（0.20.0及之前版本）的同仁应该很熟悉如下的原MapReduce框架图：图1.Hadoop原MapReduce架构从上图中可以清楚的看出原MapReduce程序的流程及设计思路：可以看得出原来的map-reduce架构是...
Hadoop原理与技术MapReduce实验
05-24
（1）熟悉Hadoop开发包 （2）编写MepReduce程序 （3）调试和运行MepReduce程序 （4）完成上课老师演示的内容 二、实验环境 Windows 10 VMware Workstation Pro虚拟机 Hadoop环境 Jdk1.8 二、实验内容 1.单词计数实验...
MapReduce编程入门-日志访问次数统计任务
Jop_qq的博客
05-14 6094
搭建IDE开发环境，创建MapReduce工程MemberCount 1.将插件hadoop-eclipse-plugin-2.6.4.jar复制到eclipse的dropins目录下 2.菜单选择Windowns-Perspective-Open Perspective-Other,在对话框中选中MapReduce,点击
Task not serializable
大数据
01-04 2297
C:\Java\jdk1.8.0_191\bin\java.exe "-javaagent:D:\IntelliJ IDEA 2018.2.4\lib\idea_rt.jar=55960:D:\IntelliJ IDEA 2018.2.4\bin" -Dfile.encoding=UTF-8 -classpath C:\Java\jdk1.8.0_191\jre\lib\charsets.jar;...
广告数据集mapreduce实验（词频统计）
weixin_52728894的博客
01-12 317
hadoop实验mapreduce词频统计，对广告数据集的购买者年龄进行词频统计，获得购买者年龄分布。
MapReduce 之流量汇总案例四+不同省份输出文件内部排序（部分排序）
now
11-26 270
1）需求 要求每个省份手机号输出的文件中按照总流量内部排序。 2）分析： 基于需求3，增加自定义分区类即可。 3）案例实操 （1）增加自定义分区类 package com.lzz.mapreduce.flowsort; import org.apache.hadoop.io.Text; import org.apache.hadoop.mapreduce.Partitioner; public class FlowSortProvincePartitioner extends Part
linux航班信息处理mapreduce,linux平台：Eclipse（+IBMmapreduce tool）下运行hadoop
weixin_36459720的博客
05-11 107
自己乱搞，出了点问题，弄来弄去，总算弄OK了主要就是版本的问题我的开发环境是：Ubuntu，如果安装的版本低，系统更新下1.安装eclipse版本是eclipse3.3.X其他版本会不兼容下好eclipse-java-3.3-linux.tar.gz文件后sudo cp **.tar.gz /usr/lib解压缩sudo -xvf ****.tar.gz2.获取mapreduce tool plu...
开发MapReduce程序 实验2
magina507的博客
05-30 2093
一、实验题目 开发MapReduce程序 二、实验要求 WeatherData应用程序是为分析文本文件、获得明确结果而编写的计算程序。 在文本分析过程中，程序分别对（数）值和温度做了分类和比较。 本次实验练习，我们将编写MapReduce程序，目的是找出weather.txt文本文件中保存的最高温度的记录。 三、操作步骤 1.打开Eclipse，创建一个Java Project，
mapreduce分组统计_mapreduce统计日志文件中的省份分布
weixin_39835321的博客
12-21 227
衡量网站流量的几个指标(单位：每天、每周、每月、每年)PV(重要)PV即访问量(Page View)。用户只要访问一次页面或就会被计算为一次PV，不关心客户端的IP是否相同，也不关心是不是同一个客户端。具体的度量方法：从客户端向web服务器发送一个request请求，web服务器接收到这个请求后，将该请求对应的网页发送给浏览器，这样就产生一个PV。UVUV即独立访客(Unique Visitor)...
[hadoop]简单的MapReduce项目，计算文件中单词出现的次数（五）
胖胖的ALEX
05-23 7679
计算文件中单词出现的次数，试题如下图 1、创建读取单词的文件tast，内容如下： hadoop core map reduce hiv hbase Hbase pig hadoop mapreduce MapReduce Hadoop Hbase spark 2、流程图如下： 根据上图得知，计算流程中Mapping和Reducing是需要自己编写功能，其他交给Map/Redu
调用MapReduce对文件中各个单词出现次数进行统计
Baiyu9527的博客
12-06 1235
调用MapReduce对文件中各个单词出现次数进行统计调用MapReduce对文件中各个单词出现次数进行统计一、安装环境二、需求分析1.创建hadoop账户2.设置Hadoop密码3.为Hadoop用户增加管理员权限4.更新apt5.安装vim6.安装SSH、配置SSH无密码登陆三、安装java环境1.安装JDK2.验证JDK安装情况3.安装 Hadoop3.1.3四、安装hadoop五、Hadoop单机配置(非分布式)六、Hadoop伪分布式配置1.修改配置文件2.格式化 NameNode3.开启Name
hadoop中mapreduce实战案例
最新发布
06-28
### 回答1： Hadoop中MapReduce实战案例有很多，以下是一些常见的案例： 1. WordCount：统计文本中单词出现的次数。 2. TopN：找出文本中出现次数最多的前N个单词。 3. 求平均值：计算文本中一列数字的平均值。 4. 倒排索引：将文本中的单词与出现的文档建立索引，方便快速查找。 5. 关联规则挖掘：通过分析大量数据，找出其中的关联规则，如购物篮分析。 6. 图像处理：通过MapReduce处理大量图像数据，如图像分类、图像识别等。 7. 推荐系统：通过分析用户行为数据，为用户推荐相关的产品或服务。 8. 日志分析：通过MapReduce处理大量日志数据，如网站访问日志、服务器日志等，分析用户行为、系统性能等。 以上是一些常见的Hadoop中MapReduce实战案例，实际应用中还有很多其他的案例。 ### 回答2： Hadoop是一个开源的分布式存储和处理大数据的解决方案，而MapReduce是Hadoop中的一种计算框架。其实战案例很多，下面就列举一些经典的案例。 1. 单词计数：在一个大文本文件中统计每个单词出现的次数，是Hadoop入门案例。MapReduce的Map函数进行分割文本并将每个单词都映射到(key,value)对上，reduce函数对同一个key的value进行合并并输出。 2. 网页排名：Google使用了PageRank算法对网页搜索结果进行排序，而这个排序算法的实现就是MapReduce模型。Map函数将网页信息和链接信息映射到(key,value)对上，reduce函数计算网页的排名并输出。 3. 日志分析：大型网站的日志通常非常庞大，Hadoop可应用于实时分析与处理这些日志。MapReduce的Map函数解析日志并提取重要信息，reduce函数进行计数统计或者聚合操作。 4. 图像处理：MapReduce模型常用于图像识别、处理和分析。Map函数把处理的图像块分配到不同的机器上，在不同的机器上并行化地处理。而reduce函数通常用于汇总结果并输出。 这些案例只是MapReduce在Hadoop中的应用之一，Hadoop还可以通过Hive、Pig等组件来对数据进行高层次的查询、脚本处理和数据分析。Hadoop在大数据领域的应用日益广泛，如商业智能、金融风控、医疗健康等，在数据收集、存储和处理中扮演着重要的角色。 ### 回答3： Hadoop是一个大数据处理平台，而MapReduce是其中最主要的一种分布式计算框架。MapReduce的核心思想是将一个大数据集拆分成多个子集，然后通过并行计算将这些子集进行处理得到最终结果。 在实际应用中，人们利用Hadoop和MapReduce来处理各种各样的大数据问题。下面我们来介绍一些MapReduce的实战案例： 1.单词统计 这是一个最简单却也最典型的案例。它的思路是读入一个大文本文件，然后将文件中每个单词逐个拆分出来，统计每个单词出现的频次，并将结果输出。这个过程可以通过MapReduce的"map"和"reduce"函数来实现。其中"map"函数负责将文本文件拆分成单词，将每个单词与1这个数字配对，并将结果输出。而"reduce"函数负责将配对结果按照单词将其分组，然后将每组中所有数字进行累加，得到每个单词的频次。 2. 声明式流媒体处理 MapReduce不仅仅是用来处理静态的大数据，还可以用来处理流媒体数据。具体来说，就是将流媒体数据流中的元素分割成小块，逐块对其进行MapReduce运算处理，得到最终结果。例如，在一个音乐流媒体应用中，我们可以通过MapReduce对歌曲库进行快速索引，以便用户能够快速检索和播放他们喜爱的歌曲。同时，在流媒体数据处理过程中，MapReduce还能够根据所处理的数据类型，自动调整MapReduce算法的参数和并行度，以确保处理效率和质量。 3.处理图形数据 图形处理是一个非常关键的应用领域。通过MapReduce计算框架，我们能够处理极大规模的图形数据集，例如在社交网络中对用户关系进行建模或者对搜索引擎中的网页链接关系进行分析。具体操作过程是，我们首先通过MapReduce的"map"函数将每个节点的邻居节点列表作为输出键值，将每个节点的ID作为输出值。然后通过MapReduce的"reduce"函数将具有相同邻居节点的节点交给同一个处理器进行处理。最终，我们得到的结果是每个节点及其所有邻居节点的详细信息。 总之，以上三个案例充分展示了MapReduce在大数据处理过程中的应用价值。作为一种分析大规模数据和自动化处理复杂问题的工具，MapReduce框架不仅使我们能够更好地管理和分析数据，而且还推动了数据处理领域的创新和发展。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值