爬虫的分类 通用爬虫 通常指搜索引擎的爬虫,比如百度、谷歌等聚焦爬虫 针对特定网站的爬虫,比如个人写的小爬虫等 聚焦爬虫流程 URL_list 响应内容 提取数据 入库 提取URL 爬虫定义 网络爬虫,又称网络蜘蛛或网络机器人,用以模拟客户端发送网络请求并接收对应的响应,一种按照一定的规则,自动地抓取互联网上信息的程序。只要是浏览器能做的事情,原则上,爬虫都能做。