Python3 网络爬虫（1）：初认识

1.概念

• 网络爬虫（又称为网页蜘蛛，网络机器人），是一种按照一定的规则，自动地抓取万维网信息的程序或者脚本。

2.分类

• 网络爬虫按照系统结构和实现技术，可以分为：通用网络爬虫（General Purpose Web Crawler）、聚焦网络爬虫（Focused Web Crawler）、增量式网络爬虫（Incremental Web Crawler）、深层网络爬虫（Deep Web Crawler）。
• 我们平常见到的主要是通用爬虫和聚焦爬虫。通用爬虫收集全网的信息，爬取范围和工作量巨大，适用于搜索引擎，像Google，百度等等。聚焦爬虫则是指选择性地爬取那些与预先定义好的主题相关页面的网络爬虫。也就是有目的性地选取某一特定主题的爬虫。我们在学习Python的过程中提到的爬虫正是聚焦爬虫。

3.基本流程