Python爬虫学习入门

一、什么是爬虫？

1.1 爬虫的功能

​ 网络爬虫（又被称为网页蜘蛛，网络机器人，在FOAF社区中间，更经常的称为网页追逐者），是一种按照一定的规则，自动地抓取万维网信息的程序或者脚本。

1.2 爬虫的组成部分

1、控制器

​ 控制器是网络爬虫的中央控制器，它主要是负责根据系统传过来的URL链接，分配线程，然后启动线程调用爬虫爬取网页的过程。

2、解析器

​ 解析器是负责网络爬虫的主要部分，其负责的工作主要有：下载网页的功能，对网页的文本进行处理，如过滤功能，抽取特殊HTML标签的功能，分析数据功能。

3、资源库

主要是用来存储网页中下载下来的数据记录的容器，并提供生成索引的目标源。中大型的数据库产品有：Oracle、Sql Server等。

1.3 爬虫的抓取策略

在爬虫系统中，待抓取URL队列是很重要的一部分。待抓取URL队列中的URL以什么样的顺序排列也是一个很重要的问题，