本文介绍了大数据处理中的MapReduce计算模型，详细讲解了其来源于PageRank的分布式计算思想，并阐述了大数据实时计算框架Apache Storm，通过自来水厂的例子说明其持续处理数据的特点。此外，还提及了搭建Hadoop Eclipse开发环境的基本步骤，但推荐使用MRUnit进行MapReduce单元测试。
分享一下我老师大神的人工智能教程吧。零基础，通俗易懂！风趣幽默！http://www.captainbed.net/
也欢迎大家转载本篇文章。分享知识，造福人民，实现我们中华民族伟大复兴！
一、大数据离线计算：MapReduce计算模型
1、MapReduce是处理HDFS上的数据
2、MapReduce的思想来源是PageRank（搜索排名），原理是进行分布式计算。
如上图，网页跳转中，访问网页3的次数最多，也就是权重最大的为网页3。比如京东、淘宝中给推荐的商品，就是近期访问的比较多的商品。
MapReduce的思想是把一个大任务拆分成多个小任务，再把小任务的结果汇总，得到最后的结果。
3、数据都是历史数据、数据已经存在（HDFS）
二、大数据实时计算：Apache Storm
1、特点：数据源源不断地产生，不停处理数据
最低0.47元/天 解锁文章
1107
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
