阿丹的池塘

 spider是搜索引擎的必须模块.spider数据的结果直接影响到搜索引擎的评价指标.第一个spider程序由MIT的Matthew K Gray操刀该程序的目的是为了统计互联网中主机的数目Spier定义(关于Spider的定义,有广义和狭义两种). 狭义:利用标准的http协议根据超链和web文档检索的方法遍历万维网信息空间的软件程序. 广义:所有能利

原文: http://wiki.huihoo.com/index.php?title=Search_Engine_Technology搜索引擎的门槛主要是技术门槛，包括网页数据的快速采集、海量数据的索引和存储、搜索结果的相关性排序、搜索效率的毫秒级要求、分布式处理和负载均衡、自然语言的理解技术等等，这些都是搜索引擎的门槛。 搜索引擎的策略都是采用服务器群集和分布式计算技术。 if (

 搜索引擎学习资源收集作者：dongdonglang   http://www.dunsh.org/forums/thread-2716-1-2.html一、搜索引擎技术/动态资源、综合类1、卢亮的搜索引擎研究    http://www.wespoke.com/卢亮属于搜索引擎开发上的专家，以前开发过一个搜索引擎"博索"(http://booso.com/),好像现在已经停止开发了，