二十八、scrapy的入门使用

1. 创建scrapy项目

• 下面以抓取传智师资库来学习scrapy的入门使用：http://www.itcast.cn/channel/teacher.shtml

• 安装scrapy命令：sudo apt-get install scrapy 或者：pip install scrapy

• 创建scrapy项目的命令：scrapy startproject +<项目名字>

示例：scrapy startproject myspider

生成的目录和文件结果如下：

2. 创建爬虫

• 命令：在项目路径下执行:scrapy genspider +<爬虫名字> + <允许爬取的域名>

示例：

cd myspider
scrapy genspider itcast itcast.cn

生成的目录和文件结果如下：

3. 完善spider

完善spider即通过方法进行数据的提取等操作

3.1 在/myspider/myspider/spiders/itcast.py中修改内容如下:

import scrapy

class ItcastSpider(scrapy.Spider):  # 继承scrapy.spider
    # 爬虫名字 
    name = 'itcast' 
    # 允许爬取的范围
    allowed_domains = ['itcast.cn'] 
    # 开始爬取的url地址
    start_urls = ['http://www.itcast.cn/channel/teacher.shtml']

    # 数据提取的方法，接受下载中间件传过来的response
    def parse(self, response): 
        # scrapy的response对象可以直接进行xpath
        names = response.xpath('//div[@class="tea_con"]//li/div/h3/text()') 
        print(names)
        # 获取具体数据文本的方式如下
        # 分组
        li_list = response.xpath('//div[@class="tea_con"]//li') 
        for li in li_list:
            # 创建一个数据字典
            item = {}
            # 利用scrapy封装好的xpath选择器定位元素，并通过extract()或extract_first()来获取结果
            item['name'] = li.xpath('.//h3/text()').extract_first() # 老师的名字
            item['level'] = li.xpath('.//h4/text()').extract_first() # 老师的级别
            item['text'] = li.xpath('.//p/text()').extract_first() # 老师的介绍
            print(item)

注意：

scrapy.Spider爬虫类中必须有名为parse的解析
也可以自定义其他解析函数
在解析函数中提取的url地址如果要发送请求，则必须属于allowed_domains范围内，但是start_urls中的url地址不受这个限制，我们会在后续的课程中学习如何在解析函数中构造发送请求
启动爬虫的时候注意启动的位置，是在项目路径下启动

3.2 定位元素以及提取数据、属性值的方法

解析并获取scrapy爬虫中的数据: 利用xpath规则字符串进行定位和提取

• response.xpath方法的返回结果是一个类似list的类型，其中包含的是selector对象，操作和列表一样，但是有一些额外的方法
• 额外方法extract()：返回一个包含有字符串的列表，没有返回[ ]。
• 额外方法extract_first()：返回列表中的第一个字符串，列表为空没有返回None

3.3 response响应对象的常用属性

• response.url：当前响应的url地址
• response.request.url：当前响应对应的请求的url地址
• response.headers：响应头
• response.requests.headers：当前响应的请求头
• response.body：响应体，也就是html代码，byte类型
• response.status：响应状态码

4、管道的简单使用

利用管道pipeline来处理(保存)数据

4.1 对itcast爬虫进行修改完善

• 在爬虫文件itcast.py中parse()函数中最后添加yield item。

思考：为什么要使用yield？

让整个函数变成一个生成器

• 遍历这个函数的返回值的时候，挨个把数据读到内存，不会造成内存的瞬间占用过高，python3中的range和python2中的xrange同理

注意：解析函数中的yield能够传递的对象只能是：BaseItem, Request, dict, None

4.2 修改pipelines.py文件

import json

class ItcastPipeline():
    # 爬虫文件中提取数据的方法每yield一次item，就会运行一次
    # 该方法为固定名称函数
    def process_item(self, item, spider):
        print(item)

4.3 在settings.py设置开启pipeline

ITEM_PIPELINES = {
    'myspider.pipelines.ItcastPipeline': 400
}

5、运行scrapy

命令：在项目目录下执行scrapy crawl +<爬虫名字>

示例：scrapy crawl itcast

6、小结

（1）scrapy框架的入门使用：

• scrapy的安装：pip install scrapy
• 创建scrapy的项目: scrapy startproject myspider
• 创建scrapy爬虫：在项目目录下执行 scrapy genspider itcast itcast.cn
• 运行scrapy爬虫：在项目目录下执行 scrapy crawl itcast

（2）解析并获取scrapy爬虫中的数据：

• response.xpath方法的返回结果是一个类似list的类型，其中包含的是selector对象，操作和列表一样，但是有一些额外的方法
• extract() 返回一个包含有字符串的列表
• extract_first() 返回列表中的第一个字符串，列表为空没有返回None

（3）scrapy管道的基本使用:

• 完善pipelines.py中的process_item函数
• 在settings.py中设置开启pipeline

（4）response响应对象的常用属性

• response.url：当前响应的url地址
• response.request.url：当前响应对应的请求的url地址
• response.headers：响应头
• response.requests.headers：当前响应的请求头
• response.body：响应体，也就是html代码，byte类型
• response.status：响应状态码