开发一个分布式的爬虫需要用到哪些技术或是算法，请高手给个思路

开发一个分布式的爬虫需要用到哪些技术或是算法，请高手给个思路

我想基于.net平台构建一个分布式的爬虫，大致有如下一些需求
１）爬虫可以部署在多个客户端上，各个客户端具有自治能力，能根据当前客户端电脑的配置调节执行的工作量
２）主控程序能够显示所有上线的客户端，并能对各客户端程序进行控制
３）客户端程序之间能够根据需要调度任务，协同工作
我对这方面的知识，不了解，尝试搜索资料但是用的关键词（构件　分布式　Agent)可能不对没有找到匹配的资料
肯请高手能不能提供一些思路或者关键词或者建议亦或是片断或是用到的算法，因为这是一个庞大的工程，涉及到多方面的技术，还请好心人能帮上一二，谢谢
另外还想问一下Remoting技术是否已经被取代了？

posted on 2008-03-02 11:16  lexus 阅读( ...) 评论( ...) 编辑 收藏

转载于:https://www.cnblogs.com/lexus/archive/2008/03/02/1087724.html