Python爬虫技术

概念

自动抓取互联网信息的程序,从互联网上抓取有价值的信息.

架构

Python 爬虫架构由调度器,URL管理器,网页下载器,网页解析器,应用程序组成.

调度器:主要负责调度URL管理器,下载器,解析器之间的协调工作.

URL管理器:包括待爬取的URL地址和已爬取的URL地址,防止重复抓取URL和循环抓取URL,实现URL管理器主要用三种方式，通过内存,数据库,缓存数据库来实现.

网页下载器:通过传入一个URL地址来下载网页,将网页转换成一个字符串,网页下载器有urllib2,包括需要登录,代理和cookie,requests.

网页解析器:将一个网页字符串进行解析,可以按照我们的要求来提取出我们有用的信息,也可以根据DOM树的解析方式来解析.网页解析器有正则表达式,html.parser,beautifulsoup,lxml,html.parser 和 beautifulsoup 以及 lxml 都是以 DOM 树的方式进行解析的.

应用程序:就是从网页中提取的有用数据组成的一个应用.