爬虫概述

爬虫的概念

---

网络爬虫就是模拟客户端发送网络请求，接收请求响应，一种按照一定的规则，自动地抓取互联网信息的程序。原则上，只要是浏览器能做的事情，爬虫都能够做。

爬虫的作用

---

• 数据采集
• 软件测试
• 抢票
• 投票
• 网络安全
  
  
  

  爬虫分类

  ---

• 根据被爬虫网站的数量不同，可以分为：
• • 通用爬虫，如搜索引擎
  • 聚焦爬虫，如12306抢票，或专门抓取某一个网站数据
• 根据是否以获取数据为目的，可以分为：
• • 功能性爬虫，给你喜欢的明星投票，点赞
  • 数据增量爬虫，比如招聘信息
• 根据url地址和对应的页面内容是否改变，数据增量爬虫可以分为：
• • 基于url地址变化，内容也随之变化的数据增量爬虫
  • url地址不变，内容变化的数据增量爬虫
    
    
    
    
    
    

  爬虫流程

  ---