MAP/REDUCE:Google和Nutch实现异同及其他

原创 2018年04月16日 11:53:25

设计要素

nutch包含以下几个部分:

  1. 辅助类

Log:记载运行信息;

Time:记载时间信息;

  1. 协议类

目的:各种进程之间的通信协议

    1. ClientM/R系统通信协议:完成客户端和M/R系统的通信;
    2. JobTask系统通信协议:由于一个任务要分布完成,所以需要任务和子任务之间的通信协议;
    3. MapTaskReduceTask通信协议:由于MAPREDUCE是一个任务的顺序执行过程,所以需要两者之间的通信协议来对两个步骤进行协调,主要是文件输入输出协调;
    4. 进程通信协议:子进程和父进程通信协议;
 

/*版权声明:可以任意转载,转载时请务必标明文章原始出处和作者信息 .*/

张俊林
timestamp:2006年11月26日

stevens那本socket的第一部分的简要翻译

 以前被流放到乡下,无聊时翻的,昨天从盘上翻出来,觉得从来没在网上贴过,埋没了可惜,就灌到CSDN来了,高手不要笑话我,转贴也不用注明了第一部分:TCP/IP====================C...
  • ed9er
  • ed9er
  • 2001-03-12 14:54:00
  • 863

Google Map Reduce 中文版 论文

  • 2010年02月03日 15:31
  • 249KB
  • 下载

google map reduce论文中文版

  • 2010年10月26日 11:51
  • 288KB
  • 下载

Hadoop、HDFS和Map/Reduce

Hadoop是一个开发和运行处理大规模数据的软件平台,是Appach的一个用java语言实现开源软件框架,实现在大量计算机组成的集群中对海量数据进行分布式计算框架。Hadoop的核心是分布式文件系统H...
  • lion19930924
  • lion19930924
  • 2016-08-17 22:33:45
  • 810

python map/reduce函数

map/reduce阅读: 215536Python内建了map()和reduce()函数。如果你读过Google的那篇大名鼎鼎的论文“MapReduce: Simplified Data Proce...
  • weixin_40576260
  • weixin_40576260
  • 2018-02-25 19:01:13
  • 20

python map() ,reduce()运用

python3 中map(),reduce()函数 Python内建了map()和reduce()函数。 如果你读过Google的那篇大名鼎鼎的论文“MapReduce: Simplif...
  • qwed070
  • qwed070
  • 2016-08-18 21:44:02
  • 746

java实现map-reduce代码

本文记录用java实现map-reduce,并在服务器上运行的代码。 package com.demo.hadoop.test; import java.io.IOException; i...
  • qifuchenluo
  • qifuchenluo
  • 2017-04-19 15:10:28
  • 917

Array数组(JS)之map与reduce方法

map// Define the callback function. function AreaOfCircle(radius) { var area = Math.PI * (radius...
  • gx15366039985
  • gx15366039985
  • 2016-12-21 21:07:23
  • 3054

用通俗易懂的大白话讲解Map/Reduce原理

Hadoop简介 Hadoop就是一个实现了Google云计算系统的开源系统,包括并行计算模型Map/Reduce,分布式文件系统HDFS,以及分布式数据库Hbase,同时Hadoop的相关项目...
  • lifuxiangcaohui
  • lifuxiangcaohui
  • 2014-03-31 16:20:44
  • 145493

Google MapReduce中文版

英文原文链接: Google Map Reduce 译文原文链接: Google MapReduce中文版 Google MapReduce中文版 译者: alex 摘要 ...
  • oDaiLiDong
  • oDaiLiDong
  • 2015-01-27 16:15:04
  • 1362
收藏助手
不良信息举报
您举报文章:MAP/REDUCE:Google和Nutch实现异同及其他
举报原因:
原因补充:

(最多只允许输入30个字)