提到Python与网络爬虫,可能会想到urllib,urllib2,BeautifulSoup,Scrapy等类库,本文主要总结Scrapy与网络爬虫。Scrapy是一个功能强大的网络爬虫类库,通过命令pip install scrapy进行安装,爬取的海量数据可以通过MongoDB进行存储,有了想要的数据集后就可以对其进行分析挖掘。
1.实现一个简单的Scrapy网络爬虫
先用Scrapy实现一个采集网页的title字段,以对Scrapy有个直观的印象。
[1]新建wikiSpider项目
scrapy startproject wikiSpider
生成的项目结构,如下所示:
─Scrapy
└─wikiSpider
│ scrapy.cfg
│
└─wikiSpider
│ items.py
│ pipelines.py
│ settings.py
│ __init__.py
│
└─spiders
__init__.py
说明:scrapy.cfg:项目配置文件;wikiSpider/items.py:项目items文件;wikiSpider/pipelines.py:项目管道文件;wikiSpider/settings.py:项目配置文件;wikiSpider/spiders:放置spider的目录。
[2]创建Article类
在items.py文件中,定义Article类,如下所示:
from scrapy import Item, Field
class Article(Item):
title = Field()
[3]创建articleSpider.py文件
在wikiSpider/wikiSpider/spiders/文件夹中创建一个articleSpider.py文件,如下所示:
from scrapy.selector import Selector
from scrapy import Spider
from wikiSpider.items import Article
class ArticleSpider(Spider):
name = "article"
allowed_domains = ["en.wikipedia.org"]
start_urls = ["http://en.wikipedia.org/wiki/Main_Page",
"http://en.wikipedia.org/wiki/Python_%28programming_language%29"]
def parse(self,response):
item = Article()
title = response.xpath('//h1/text()')[0].extract()
print("Title is: "+title)
item['title'] = title
return item
[4]运行Scrapy网络爬虫
在wikiSpider主目录中运行ArticleSpider,如下所示:
scrapy crawl article
这个爬虫首先进入start_urls中的两个页面,然后收集信息,最后停止运行。Scrapy为爬虫的start_urls属性中的每个URL创建了一个scrapy.http.Request对象,并将爬虫的parse方法指定为回调函数。scrapy.http.Response对象被返回,结果也被反回给爬虫。
如果遇到错误[scrapy] ERROR: Error downloading <GET http://en.wikipedia.org/robots.txt>: u'\xd8',需要设置settings.py文件中的ROBOTSTXT_OBEY = False即可。
2.Scrapy基础知识
Scrapy使用基于XPath和CSS表达式机制从网页中提取数据。Selector有4个基本的方法,分别是xpath(),css(),extract(),re()。
[1]xpath
xpath是Scrapy下快速提取特定信息(比如title,head,href等)的一个接口。常用的表达式和描述,如下所示:
- nodename:选取此节点的所有子节点。
- /:从根节点选取。
- //:从匹配选择的当前节点选择文档中的节点,而不考虑它们的位置。
- .:选取当前节点。
- ..:选取当前节点的父节点。
- @:选取属性。
[2]Scrapy shell
Scrapy终端是一个交互终端,供你在未启动spider的情况下尝试及调试你的爬取代码,可以用来测试XPath或CSS表达式,查看他们的工作方式及从爬取的网页中提取的数据。启动终端的命令为scrapy shell <url>。Scrapy终端根据下载的页面会自动创建一些方便使用的对象,如下所示:
- crawler:当前Crawler对象。
- spider:处理URL的spider。
- request:最近获取到的页面的Request对象。
- response:包含最近获取到的页面的Response对象。
- sel:根据最近获取到的response构建的Selector对象。
- settings:当前的Scrapy settings。
3.Scrapy工作原理
Scrapy使用Twisted异步网络库来处理网络通讯。整体架构如下所示:
- 引擎[Scrapy Engine]:用来处理整个系统的数据流处理,触发事务。
- 调度器[Scheduler]:用来接受引擎发过来的请求,压入队列中,并在引擎再次请求的时候返回。
- 下载器[Downloader]:用于下载网页内容,并将网页内容返回给蜘蛛。
- 蜘蛛[Spiders]:蜘蛛是主要干活的,用它来制订特定域名或网页的解析规则。
- 项目管道[Item Pipeline]:负责处理有蜘蛛从网页中抽取的项目,主要任务是清晰、验证和存储数据。当页面被蜘蛛解析后,将被发送到项目管道,并经过几个特定的次序处理数据。
- 下载器中间件[Downloader Middlewares]:位于Scrapy引擎和下载器之间的钩子框架,主要是处理Scrapy引擎与下载器之间的请求及响应。
- 蜘蛛中间件[Spider Middlewares]:介于Scrapy引擎和蜘蛛之间的钩子框架,主要工作是处理蜘蛛的响应输入和请求输出。
- 调度中间件[Scheduler Middlewares]:介于Scrapy引擎和调度之间的中间件,从Scrapy引擎发送到调度的请求和响应。
4.事件驱动网络
解析:Scrapy基于事件驱动网络框架Twisted编写。因此,Scrapy基于并发性考虑由非阻塞[即异步]的实现。
5.Scrapy数据流
解析:
[1]引擎打开一个网站,找到处理该网站的Spider并向该spider请求第一个要爬取的URL[s]。
[2]引擎从Spider中获取到第一个要爬取的URL并在调度器[Scheduler]以Request调度。
[3]引擎向调度器请求下一个要爬取的URL。
[4]调度器返回下一个要爬取的URL给引擎,引擎将URL通过下载中间件[请求[request]方向]转发给下载器[Downloader]。
[6]一旦页面下载完毕,下载器生成一个该页面的Response,并将其通过下载中间件[返回[response]方向]发送给引擎。
[6]引擎从下载器中接收到Response并通过Spider中间件[输入方向]发送给Spider处理。
[7]Spider处理Response并返回爬取到的Item及[跟进的]新的Request给引擎。
[8]引擎将[Spider返回的]爬取到的Item给ItemPipeline,将[Spider返回的]Request给调度器。
[9][从第2步]重复直到调度器中没有更多地request,引擎关闭该网站。
6.
7.
8.
9.
10.
参考文献:
[1] 《Python网络数据采集》
[2] Scrapy:Scrapy | A Fast and Powerful Scraping and Web Crawling Framework
[3] Beautiful Soup:Beautiful Soup Documentation — Beautiful Soup 4.9.0 documentation