搜索引擎
iteye_4080
这个作者很懒,什么都没留下…
展开
-
开源网络爬虫程序(spider)一览
spider是搜索引擎的必须<nobr>模块</nobr>.spider<nobr>数据</nobr>的结果直接影响到搜索引擎的评价指标. 第一个spider程序由MIT的Matthew K Gray操刀该程序的目的是为了统计互联网中主机的数目 >Spier定义(关于Spider的定义,有广义和狭义两种). 狭义:利用<nobr>...2007-10-16 08:16:30 · 299 阅读 · 0 评论 -
搜索引擎爬虫程序一览表大全
高<nobr>强度</nobr>爬虫程序 Baiduspider+(+http://www.baidu.com/search/spider.htm) 百度爬虫 高强度爬虫,有时会从多个IP地址启动多个爬虫程序! 由于算法问题,百度爬虫对相同页面会多次发出请求(尤其是首页),令人烦恼。 推广<nobr>效果</nobr>好。 Mozilla/...2007-10-16 08:17:28 · 337 阅读 · 0 评论