![](https://img-blog.csdnimg.cn/20201014180756928.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
hadoop
文章平均质量分 74
我是小小白!
这个作者很懒,什么都没留下…
展开
-
MapReduce案例:运行商流量统计
Hadoop 序列化案例 需求与分析 统计每一个手机号耗费的总上行流量、下行流量、总流量 (1)输入数据 1 13736230513 192.196.100.1 www.dev1.com 2481 24681 200 2 13846544121 192.196.100.2 264 0 200 3 13956435636 192.196.100.3 132 1512 200 4 13966251146 192.168.100.1 240 0 404 5 18271575951 192.168.100.2原创 2021-03-31 20:21:28 · 368 阅读 · 0 评论 -
MapReduce案例:Wordcout
1.需求分析 在给定的文本文件中统计输出每一个单词出现的总次数 1.1 往hello.txt输入以下数据 你好 beautiful nice hey ad hahaha test test 0319 0326 0326 0326 1.2 期望输出数据值 0319 1 0326 3 ad 1 beautiful 1 hahaha 1 hey 1 nice 1 test 2 你好 1 2.开发步骤 按照MapReduce编程规范,分别编写Mapper,Reducer,Driver (1) Mapper 1.原创 2021-03-31 15:50:57 · 235 阅读 · 0 评论 -
Mapreduce的优缺点
Mapreduce的优缺点 优点 Mapreduce易于编程 它简单的实现一些接口,就可以完成一个分布式程序,这个程序可以分布到大量的廉价的pc机器上运行。也就是说你写一个分布式程序,跟写一个简单的串行程序是一模一样的。就是因为这个特性使的Mapreduce编程变得非常流行。 良好的扩展性 项目当你的计算资源得不到满足的时候,你可以通过简单的通过增加机器来扩展它的计算能力 高容错...原创 2019-03-24 23:20:53 · 9068 阅读 · 0 评论 -
最近在学习Mapreduce的序列化的一个经典案例,统计每一个手机号耗费的总上行流量、下行流量、总流量,为什么一直提示数组越界了?
最近在学习Mapreduce的序列化的一个经典案例,统计每一个手机号耗费的总上行流量、下行流量、总流量,为什么一直提示数组越界了? 求告知! 以下是日志: 2019-03-31 21:20:06,758 INFO [org.apache.hadoop.conf.Configuration.deprecation] - session.id is deprecated. Instead, use d...原创 2019-03-31 21:34:36 · 966 阅读 · 0 评论