Scrapy是一个为了爬取网站数据，提取结构性数据而编写的应用框架。可以应用在包括数据挖掘，信息处理或存储历史数据等一系列的程序中。Scrapy最初是为了页面抓取（更确切来说, 网络抓取）所设计的，也可以应用在获取API所返回的数据（例如Amazon Associates Web Services）或者通用的网络爬虫。
1 安装
简要说明下Scrapy的安装：
下载网址：http://www.lfd.uci.edu/~gohlke/pythonlibs/
下载后缀名为whl的scrapy文件，在cmd中进入Scripts所在的位置，输入pip install scrapy文件名.whl（可参考《Python初学基础》中的7.1 模块安装），注意scrapy依赖twiste，同样使用whl格式的包进行安装。安装完这两个模块后我在进行爬虫操作的时候提示没有win32api，该文件为exe，下载地址为https://sourceforge.net/projects/pywin32/files/pywin32/Build%20220/。
在安装好模块后要注意环境变量的配置，以我自己的安装目录为例，应当将D:\Program Files (x86)\Python\Scripts以及D:\Program Files (x86)\Python\Lib\site-packages加入环境变量中，否则模块只能在安装目录下运行，在别的目录下运行时会提示不是内部或者外部命令。在cmd下输入scrapy查看是否安装成功。
上述简单介绍了scrapy的安装，在安装的过程中不要着急，如果安装出错，要注意查看错误信息，根据这些信息一个一个去解决。
2 Scrapy架构及组件介绍
使用Scrapy抓取一个网站一共需要四个步骤：
1. 创建一个Scrapy项目；
2. 定义Item容器；
3. 编写爬虫；
4. 存储内容
学习怎么使用Scrapy之前，我们需要先来了解一下Scrapy的架构以及组件之间的交互。下图展现的是Scrapy的架构，包括组件及在系统中发生的数据流（图中绿色箭头）。
下面对每个组件都做了简单介绍：
Scrapy Engine
Scrapy引擎是爬虫工作的核心，负责控制数据流在系统中所有组件中流动，并在相应动作发生时触发事件。
调度器（Scheduler）
调度器从引擎接受request并将他们入队，以便之后引擎请求他们时提供给引擎。
下载器（Downloader）
下载器负责获取页面数据并提供给引擎，而后提供给spider。
Spiders
Spider是Scrapy用户编写用于分析由下载器返回的response，并提取出item和额外跟进的URL的类。 Item Pipeline Item Pipeline负责处理被spider提取出来的item。典型的处理有清理、验证及持久化（例如存取到数据库中）。
接下来是两个中间件，它们用于提供一个简便的机制，通过插入自定义代码来扩展Scrapy的功能。
下载器中间件（Downloader middlewares）
下载器中间件是在引擎及下载器之间的特定钩子（specific hook），处理Downloader传递给引擎的response。
Spider中间件（Spider middlewares）
Spider中间件是在引擎及Spider之间的特定钩子（specific hook），处理spider的输入（就是接收来自下载器的response）和输出（就是发送items给item pipeline以及发送requests给调度器）。
3 Scrapy爬虫框架入门实例
例程参考《scrapy爬虫框架入门实例》，该例子是抓取慕课网（http://blog.csdn.net/zjiang1994/article/details/52779537）。慕课网的页面结构已经变了，所以说该案例实际上已经不能达到抓取目的。但是关于scrapy爬虫框架整体的使用方式和流程目前还是正确的，可以进行参考。根据慕课网现有的页面结构做了一些改动可以成功实现。
要抓取的内容是全部的课程名称，课程图片，课程人数，课程简介，课程URL：
右键审查元素查看
#如果response是网页资源的话，下面的代码可以帮助我们获得div
divs = response.xpath('//div[@class="course-card-container"]')
所以如果div已经获得的话通过如下获得信息（详解介绍见下文）：
#获取每个div中的课程路径
item['url'] = 'http://www.imooc.com' + box.xpath('.//@href').extract()[0]
#获取div中的课程标题
item['title'] = box.xpath('.//h3[@class="course-card-name"]/text()').extract()[0].strip()
#获取div中的标题图片地址
item['image_url'] = 'http:' + box.xpath('.//@src').extract()[0]
#获取div中的学生人数
item['student'] = box.xpath('.//span/text()').extract()[1].strip()
#获取div中的课程简介
item['introduction'] = box.xpath('.//p/text()').extract()[0].strip()
工作流程
Scrapy框架抓取的基本流程是这样：
当然了，还有一些中间件等等，这里是入门例子，所以不涉及。
1）创建一个Scrapy项目
在开始爬取之前，您必须创建一个新的Scrapy项目。
进入您打算存储代码的目录中，运行下列命令: scrapy startproject tutorial
该命令将会创建包含下列内容的tutorial目录：
tutorial/
scrapy.cfg
tutorial/
__init__.py
items.py
pipelines.py
settings.py
spiders/
__init__.py
...
这些文件构成Scrapy爬虫框架，它们分别的作用是:
scrapy.cfg – 项目的配置文件
tutorial/ – 该项目的python模块，之后您将在此加入代码
tutorial/items.py – 项目中的item文件
tutorial/pipelines.py – 项目中的pipelines文件
tutorial/settings.py – 项目的设置文件
tutorial/spiders/ – 放置spider代码的目录
2）定义Item容器
Item是保存爬取到的数据的容器，其使用方法和python字典类似， 并且提供了额外保护机制来避免拼写错误导致的未定义字段错误。
首先根据需要获取到的数据对item进行建模。比如我们需要从慕课网中获取课程名称，课程图片，课程人数，课程简介，课程URL。对此，我们需要在item中定义相应的字段。
我们在工程目录下可以看到一个items文件，我们可以更改这个文件或者创建一个新的文件来定义我们的item。将item.py中的内容修改如下：
#引入文件
import scrapy
class CourseItem(scrapy.Item):
#课程标题
title = scrapy.Field()
#课程url
url = scrapy.Field()
#课程标题图片
image_url = scrapy.Field()
#课程描述
introduction = scrapy.Field()
#学习人数
student = scrapy.Field()
image_path = scrapy.Field()
根据如上的代码，我们创建了一个名为item的容器，用来保存、抓取的信息， title->课程标题, url->课程url, image_url->课程标题图片, introduction->课程描述, student->学习人数。在创建完item文件后我们可以通过类似于词典(dictionary-like)的API以及用于声明可用字段的简单语法。常用方法如下：
#定义一个item
course = CourseItem()
#赋值
course['title'] = "语文"
#取值
course['title']
course.get('title')
#获取全部键
course.keys()
#获取全部值
course.items()
3) 创建一个爬虫
我们要编写爬虫，首先是创建一个Spider我们在tutorial/spiders/目录下创建一个文件MySpider.py
文件包含一个MySpider类，它必须继承scrapy.Spider类。
同时它必须定义一下三个属性：
-name: 用于区别Spider。 该名字必须是唯一的，您不可以为不同的Spider设定相同的名字。
-start_urls: 包含了Spider在启动时进行爬取的url列表。 因此，第一个被获取到的页面将是其中之一。 后续的URL则从初始的URL获取到的数据中提取。
-parse() 是spider的一个方法。 被调用时，每个初始URL完成下载后生成的 Response 对象将会作为唯一的参数传递给该函数。 该方法负责解析返回的数据(response data)，提取数据(生成item)以及生成需要进一步处理的URL的 Request 对象。
创建完成后MySpider.py的代码如下
#引入文件
import scrapy
class MySpider(scrapy.Spider):
#用于区别Spider
name = "MySpider"
#允许访问的域
allowed_domains = []
#爬取的地址
start_urls = []
#爬取方法
def parse(self, response):
pass
为了简单清晰，我们先抓取一个页面中的信息。
首先我们编写爬取代码。我们在上文说过，爬取的部分在MySpider类的parse()方法中进行。 parse()方法负责处理response并返回处理的数据以及(/或)跟进的URL。该方法及其他的Request回调函数必须返回一个包含 Request 及(或) Item 的可迭代的对象。
在网页中提取我们所需要的数据，之前所学习的是根据正则表达式来获取，在Scrapy中是使用一种基于Xpath和CSS的表达式机制：Scrapy Selectors。
Selector是一个选择器，它有四个基本的方法：
xpath() – 传入xpath表达式，返回该表达式所对应的所有节点的selector list列表 。
css() – 传入CSS表达式，返回该表达式所对应的所有节点的selector list列表。
extract() – 序列化该节点为unicode字符串并返回list。
re() – 根据传入的正则表达式对数据进行提取，返回unicode字符串list列表。
在Shell中尝试Selector选择器
为了介绍Selector的使用方法，接下来我们将要使用内置的Scrapy shell。
你需要先进入项目的根目录，执行下列命令来启动Scrapy shell：
scrapy shell “http://www.imooc.com/course/list”
shell的输出类似：
在Shell载入后，你将获得response回应，存储在本地变量response中。
所以如果你输入response.body，你将会看到response的body部分，也就是抓取到的页面内容，或者输入response.headers 来查看它的 header部分。现在就像是一大堆沙子握在手里，里面有我们想要的金子，所以下一步我们就要用筛子把沙子去掉，淘出金子。selector选择器就是这样一个筛子，正如我们刚才讲到的，你可以使用response.selector.xpath()、response.selector.css()、response.selector.extract()和response.selector.re()这四个基本方法。
使用XPath
什么是XPath？XPath是一门在网页中查找特定信息的语言。所以用XPath来筛选数据，要比使用正则表达式容易些。
这里给出XPath表达式的例子及对应的含义：
/html/head/title – 选择HTML文档中<head>标签内的<title>元素
/html/head/title/text() – 选择上面提到的<title>元素的文字
//td – 选择所有的<td>元素
//div[@class=”mine”] – 选择所有具有class=”mine”属性的div元素
上边仅仅是几个简单的XPath例子，XPath实际上要比这远远强大的多。如果你想了解更多关于XPath的内容，推荐学习这篇文章http://www.w3school.com.cn/xpath/
值得一提的是，response.xpath()、response.css()已经被映射到response.selector.xpath()、response.selector.css()，所以直接使用response.xpath()即可。
在Python编写时，由于没有学习过Xpath，所以我先在cmd中编写试验得到正确的返回结果后再写入代码中，注意shell根据response的类型自动为我们初始化了变量sel，我们可以直接使用。
例如获取每个div中的课程路径：
此外，我们希望Spiders将爬取并筛选后的数据存放到item容器中，所以我们MySpider.py的代码应该是这样的：
import scrapy
#引入容器
from tutorial.items import CourseItem
class MySpider(scrapy.Spider):
#设置name
name = "MySpider"
#设定域名
allowed_domains = ["imooc.com"]
#填写爬取地址
start_urls = ["http://www.imooc.com/course/list"]
#编写爬取方法
def parse(self, response):
#实例一个容器保存爬取的信息
item = CourseItem()
#这部分是爬取部分，使用xpath的方式选择信息，具体方法根据网页结构而定
#先获取每个课程的div
for box in response.xpath('//div[@class="course-card-container"]'):
#获取每个div中的课程路径
item['url'] = 'http://www.imooc.com' + box.xpath('.//@href').extract()[0]
#获取div中的课程标题
item['title'] = box.xpath('.//h3[@class="course-card-name"]/text()').extract()[0].strip()
#获取div中的标题图片地址
item['image_url'] = 'http:' + box.xpath('.//@src').extract()[0]
#获取div中的学生人数
item['student'] = box.xpath('.//span/text()').extract()[1].strip()
#获取div中的课程简介
item['introduction'] = box.xpath('.//p/text()').extract()[0].strip()
#返回信息
yield item
在parse()方法中response参数返回一个下载好的网页信息，我们然后通过xpath来寻找我们需要的信息。
在scrapy框架中，可以使用多种选择器来寻找信息，这里使用的是xpath，同时我们也可以使用BeautifulSoup，lxml等扩展来选择，而且框架本身还提供了一套自己的机制来帮助用户获取信息，就是Selectors。
在执行完以上步骤之后，我们可以运行一下爬虫，看看是否出错。
在命令行下进入工程文件夹，然后运行：
scrapy crawl MySpider
如果操作正确会显示如下信息：
上面信息表示，我们已经获取了信息，接下来我们开始进行信息的储存。
最简单存储爬取的数据的方式是使用Feed exports，主要可以导出四种格式：JSON，JSON lines，CSV和XML。
我们这里将结果导出为最常用的JSON格式：
scrapy crawl dmoz -o items.json -t json
-o 后边是导出的文件名，-t 指定导出类型 成功执行命令后，根目录出现了一个叫 items.json 的文件，内容如下：
或者使用Pipeline处理数据：
当我们成功获取信息后，要进行信息的验证、储存等工作，这里以储存为例。
当Item在Spider中被收集之后，它将会被传递到Pipeline，一些组件会按照一定的顺序执行对Item的处理。
Pipeline经常进行以下一些操作：
清理HTML数据
验证爬取的数据(检查item包含某些字段)
查重(并丢弃)
将爬取结果保存到数据库中
这里只进行简单的将数据储存在json文件的操作。
改写在tutorial/目录下文件pipelines.py的代码如下：
# -*- coding: utf-8 -*-
# Define your item pipelines here
#
# Don't forget to add your pipeline to the ITEM_PIPELINES setting
# See: http://doc.scrapy.org/en/latest/topics/item-pipeline.html
#引入文件
from scrapy.exceptions import DropItem
import json
class MyPipeline(object):
def __init__(self):
#打开文件
self.file = open('data.json', 'w', encoding='utf-8')
#该方法用于处理数据
def process_item(self, item, spider):
#读取item中的数据
line = json.dumps(dict(item), ensure_ascii=False) + "\n"
#写入文件
self.file.write(line)
#返回item
return item
#该方法在spider被开启时被调用。
def open_spider(self, spider):
pass
#该方法在spider被关闭时被调用。
def close_spider(self, spider):
pass
要使用Pipeline，首先要注册Pipeline
找到settings.py文件,这个文件时爬虫的配置文件
在其中添加：
ITEM_PIPELINES = {
'tutorial.pipelines.MyPipeline': 1,
}
上面的代码用于注册Pipeline，其中'tutorial.pipelines.MyPipeline为你要注册的类，右侧的’1’为该Pipeline的优先级，范围1～1000，越小越先执行。
进行完以上操作，我们的一个最基本的爬取操作就完成了
这时我们再运行：
scrapy crawl MySpider
就可以在项目根目录下发现data.json文件，里面存储着爬取的课程信息。
上面的代码只进行了比较简单的爬取，并没有完成爬取慕课网全部课程的目标。
下面进行一些简单的扩展完成我们的目标。
url跟进
在上面我们介绍了如何进行简单的单页面爬取，但是我们可以发现慕课网的课程是分布在去多个页面的，所以为了完整的爬取信息课程信息，我们需要进行url跟进。
为了完成这个目标需要对MySpider.py文件进行如下更改
import scrapy
#引入容器
from tutorial.items import CourseItem
class MySpider(scrapy.Spider):
#设置name
name = "MySpider"
#设定域名
allowed_domains = ["imooc.com"]
#填写爬取地址
start_urls = ["http://www.imooc.com/course/list"]
#编写爬取方法
def parse(self, response):
#实例一个容器保存爬取的信息
item = CourseItem()
#这部分是爬取部分，使用xpath的方式选择信息，具体方法根据网页结构而定
#先获取每个课程的div
for box in response.xpath('//div[@class="course-card-container"]'):
#获取每个div中的课程路径
item['url'] = 'http://www.imooc.com' + box.xpath('.//@href').extract()[0]
#获取div中的课程标题
item['title'] = box.xpath('.//h3[@class="course-card-name"]/text()').extract()[0].strip()
#获取div中的标题图片地址
item['image_url'] = 'http:' + box.xpath('.//@src').extract()[0]
#获取div中的学生人数
item['student'] = box.xpath('.//span/text()').extract()[1].strip()
#获取div中的课程简介
item['introduction'] = box.xpath('.//p/text()').extract()[0].strip()
#返回信息
yield item
#url跟进开始
#获取下一页的url信息
url = response.xpath("//a[contains(text(),'下一页')]/@href").extract()
if url :
#将信息组合成下一页的url
page = 'http://www.imooc.com' + url[0]
#返回url
yield scrapy.Request(page, callback=self.parse)
#url跟进结束
修改成功后就可以自动进行url跟进了。
扫一扫
4286
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
