爬虫初步六

Scrapy库的使用

1. 什么是scrapy框架？

它是一个用的最多的一个爬虫框架，相当于一个爬虫模版，是爬虫代码的半成品。主要针对网站级的爬虫规模。具有可编写，可扩展的功能。

2. 框架的具体结构图

整个过程是这样的：spiders获取初始的url(程序员指定某个网站),产生requests。通过引擎放在scheduler上面。scheduler发现仅有一个url便立马通过引擎去downloader下载网页，downloader返回response通过引擎给spiders分析，是items就给item pipeline，是requests就在放到schedule上面。

注意：这里面一般spider与item pipeline可以修改。

通过上面的过程，整个网站的所有网页资源都可以获取。

3. requests库与scrapy库的比较

requests一般针对单个网页信息的提取

scrapy针对网站信息提取

但是request是个功能函数scrapy是个框架，灵活度肯定是requests的高，也就是可定制深度高。

4. scrapy命令

在命令行（cmd）中输入：

5.实例：

要求：爬取网页：http://python123.io/ws/demo.html

文件名称：demo.html

①建立工程

这里注意：你想在哪个文件夹里建立工程，你就在哪个文件夹里打开shell。输入命令，就可以在这个文件夹下建立工程。

这里在E盘建立命令得到：

②产生爬虫

在当前文件夹里打开shell输入命令：

在文件夹里就会产生一个：demo爬虫文件：

这个demo.py就是一个类文件:

③配置spider

在属性里面把名字，起始的网站赋值。

在parse函数里把数据流传来的的response的网页内容写在一个文件夹里。以备后续使用。

总的来说，整个过程就是：

这里在对这就个关键的爬虫数据类做出说明：

另外。spider提供了很多的解析方法：

如：BeautifulSoup，xml,CSS等;

这里介绍一下CSS的解析方法：