python之初识爬虫（了解爬虫的本质及工作流程，分析网页信息）（1）

前言

本文从零开始带领大家认识爬虫，了解爬虫的本质，理解爬虫的工作流程，以及如何利用浏览器分析出爬虫程序所需要的各种身份信息

1、爬虫的基本概念

1.1 什么是爬虫？

请求网站并提取数据的自动化程序

说明：
我们通过运行编写的程序，自动化的去向网站发送请求，网站接收我们的请求后将我们需要的数据返回给我们，这个程序就叫做爬虫

1.2 爬虫分类

1. 通用爬虫（大而全）
   功能强大，采集面广，通常用于搜索引擎；如：百度、360、谷歌
2. 聚焦爬虫、主题爬虫（小而精）
   功能相对比较单一（只针对特定的网站的特定内容进行爬取）
3. 增量式爬虫（只采集更新后的内容）
   爬取更新后的内容，如：新闻、漫画、视频…（区分新老数据）

本质：
百度、谷歌这些搜索引擎自身就是一个巨大的爬虫，我们在搜索框中输入想