轻量级的爬虫开发（一）

主要内容包括：

1. 爬虫简介

2. 简单爬虫架构

3. URL管理器

4. 网页下载器（urllib2）

5.网页解析器（BeautifulSoup）

6.完整实例-爬取百度百科python相关的1000个页面数据

备注：本系列是观看慕课网《轻量级的爬虫开发》学习笔记，感兴趣的可以查看视频教程https://www.imooc.com/video/10676/0

一、爬虫简介

爬虫：一段自动抓取互联网信息的程序。

互联网是由一个个有指向关系的URL组成，正常情况下，人工的方式通过互联网的方式获取信息。当设定相关主题，通过程序的方式自动访问互联网上并提取信息这就是爬虫。

 通过爬虫可以获取大量的互联网数据，经过分析这些数据，形成自己的产品、想法，从而创造价值。

二、Python简单爬虫架构

简单的爬虫架构包括爬虫调度端、URL管理器、网页下载器、网页解析器。

爬虫调度端用于启动、停止以及监视爬虫运行。URL管理器对将要爬取的和已经爬取的爬虫进行管理。网页下载器下载指定的URL，存储成一个字符串。网页解析器解析存储下来的字符串，如果解析出来的数据里包含指向其他的URL，又会将URL传送到URL管理器 。URL管理器、网页下载器以及网页解析器形成一个循环，从而可以爬取指定主题的所有URL。

爬虫架构