爬虫介绍

爬虫的分类

• 通用爬虫
  通常指搜索引擎的爬虫，比如百度、谷歌等
• 聚焦爬虫
  针对特定网站的爬虫，比如个人写的小爬虫等
  聚焦爬虫流程

爬虫定义

• 网络爬虫，又称网络蜘蛛或网络机器人，用以模拟客户端发送网络请求并接收对应的响应，一种按照一定的规则，自动地抓取互联网上信息的程序。
• 只要是浏览器能做的事情，原则上，爬虫都能做。