MAP/REDUCE:Google和Nutch实现异同及其他

设计要素

nutch包含以下几个部分:

  1. 辅助类

Log:记载运行信息;

Time:记载时间信息;

  1. 协议类

目的:各种进程之间的通信协议

    1. ClientM/R系统通信协议:完成客户端和M/R系统的通信;
    2. JobTask系统通信协议:由于一个任务要分布完成,所以需要任务和子任务之间的通信协议;
    3. MapTaskReduceTask通信协议:由于MAPREDUCE是一个任务的顺序执行过程,所以需要两者之间的通信协议来对两个步骤进行协调,主要是文件输入输出协调;
    4. 进程通信协议:子进程和父进程通信协议;
 

/*版权声明:可以任意转载,转载时请务必标明文章原始出处和作者信息 .*/

张俊林
timestamp:2006年11月26日

阅读更多
想对作者说点什么? 我来说一句

没有更多推荐了,返回首页

关闭
关闭
关闭