设计要素
nutch包含以下几个部分:
- 辅助类
Log:记载运行信息;
Time:记载时间信息;
- 协议类
目的:各种进程之间的通信协议
-
- Client和M/R系统通信协议:完成客户端和M/R系统的通信;
- Job和Task系统通信协议:由于一个任务要分布完成,所以需要任务和子任务之间的通信协议;
- MapTask和ReduceTask通信协议:由于MAP和REDUCE是一个任务的顺序执行过程,所以需要两者之间的通信协议来对两个步骤进行协调,主要是文件输入输出协调;
- 进程通信协议:子进程和父进程通信协议;
/*版权声明:可以任意转载,转载时请务必标明文章原始出处和作者信息 .*/
张俊林
timestamp:2006年11月26日