在上一篇中已经得到了想要的name,但是并没有将获取的结果保存,仅仅是打印出来了而已。
那么现在我们将使用到最初定义的Item对象。
Item对象是一个自定义的字典。所以操作Item与正常操作一个字典是一样的。
字典里面的字段就是之前定义的属性,本文中就是name属性。
# -*- coding: utf-8 -*-
from _elementtree import parse
import re
import scrapy
from firstSpider.items import FirstspiderItem
class ExampleSpider(scrapy.Spider):
name = "example"
allowed_domains = ["zhihu.com"]
start_urls = (
'http://www.zhihu.com/question/31810474#answer-16771792',
)
def parse(self, response):
#选择器提取页面内容
for sel in response.xpath('//h3'):
item = FirstspiderItem()
item['name'] = sel.re(r'<a data-tip="p\$[\$\w-]+?" href="/people/[\$\w-]+?">(.+?)</a>')
yield item
需要注意的是在import 你的Item时,需要正确填写路径,不然可能会报错。
yield的作用是把parse函数变成一个发生器(generator),每次函数执行会返回一个迭代对象(iterable 对象)。
使用yield有两个明显好处:一是代码简洁,二是每次返回一个迭代对象,而不会一直占用内存。
再次运行爬虫,得到如下结果:
在命令行中执行如下命令:
scrapy crawl firstSpider -o items.json
这个命令的含义是执行爬虫firstSpider,将得到的item以json字符串的形式保存到items.json文件中。
如果需要对结果进行更加复杂的操作,则需要编辑爬虫目录下的pipelines.py文件。
至此,第一个Scrapy爬虫已经完成,这个爬虫爬取了一个页面,提取了页面的一些元素,并将结果保存在了item中。这个爬虫只是一个简单的例子,通过这个例子能够对Scrapy爬虫项目有一个初步的认识。
之后将深入学习Scrapy的更多内容。