对于网络爬虫,是一个网页提取程序,它通过对url 的收集,从互联网上下载网页,对网页进行特定的解析,获取特定的信息的一个过程。 网络爬虫大体分为2类:通用搜索爬虫,尽可能大的覆盖网络,只要是关键词检索;基于特种领用,特种主题领域的搜索。