Python scrapy的入门使用

学习目标：
1.掌握 scrapy的安装；
2.应用 创建scrapy的项目；
3.应用 创建scrapy 爬虫；
4.应用 运行scrapy爬虫；
5.应用 scrapy定位以及提取数据或属性值得方法；
6.掌握 response响应对象的常用属性；

1、安装scrapy

pip install scrapy

2、scrapy项目开发流程

1）、创建项目
scrapy startproject mySpider
2)、生产一个爬虫
scrapy genspider itcast itcast.cn
3)、提取数据：
根据网站结构在spider中实现数据采集相关内容
4）、保存数据：
使用pipeline进行数据后续处理和保存

3、创建项目

通过命令将scrapy项目的文件生产出来，后续步骤是在项目文件中进行相关操作，下面以抓取传智师资库来学习scrapy的入门使用：http://www.itcast.cn/channel/teacher.shtml

创建scrapy项目命令：
scrapy startproject<项目名字>
示例：
scrapy startproject myspider

生产的目录和文件结果如下：

4、创建爬虫

通过命令创建出爬虫文件，爬虫文件为注意的代码作业文件，通常一个网站的爬取动作都会在爬虫文件中进行编写。

命令：
在项目路径下执行：
scrapy genspider <爬虫名字> <允许爬取的域名>

爬虫名字：作为爬虫运行时的参数；
允许爬取的域名：为对于爬虫设置的爬取范围，设置之后用于过滤要爬取的url,如果爬取的url与允许的域不通则被过滤掉。
示例：

cd myspider
scrapy genspider itcast itcast.cn

生产的目录和文件结果如下：

import scrapy

class ItcastSpider(scrapy.Spider):

    name = 'itcast'

    alowed_domains = ['itcast.cn']

    start_urls = ['http://itcast.cn/']

    def parse(self,response):
        # 定义对于网站的相关操作
        with open('itcast.html','wb')as f:
            f.write(response.body)

import scrapy

class ItcastSpider(scrapy.Spider):

    name = 'itcast'
    # 检查域名
    alowed_domains = ['itcast.cn']
    # 修改起始url
    start_urls = ['http://itcast.cn/channel/teacher.shtml#ajavaee']

    # 在parse方法中实现爬取逻辑
    def parse(self,response):
        # 定义对于网站的相关操作

        # with open('itcast.html','wb')as f:
        #     f.write(response.body)

        # 获取所有教师节点
        node_list = response.xpath('//div[@class="li_txt"')

        # 遍历教师节点列表
        for node in node_list:
            temp = {}

            # xpath方法返回的是选择器对象列表，extract()用于选择器对象中提取数据
            temp['name'] = node.xpath('./h3/text()').extract_first()
            temp['title'] = node.xpath('./h4/text()')[0].extract()
            temp['desc'] = node.xpath('./p/text()')[0].extract()

            # xpath结果为只含有一个值得类别，可以使用extract_frist(),如果为多个值则使用extract_first
            print(temp)
            break

注意：
scrapy.Spider爬虫类中必须有名为parse的解析；
如果网站结构层比较复杂，页可以自定义其他解析函数；
在解析函数中提取的url地址如果要发送请求，则必须属于allowed_domains范围内，但是start_urls中的url地址不受这个限制，我们会在后续的课程中学习如何在解析函数中构造发送请求；
启动爬虫的时候注意启动的位置，是在项目路径下启动；
parse(）函数中使用yield返回数据，注意：解析函数中yield能够传递的对象只能是：BaseItem,Request，dict，None。

4.2 定位元素以及提取数据，属性值得方法

解析并获取scrapy()中的数据：利用xpath规则字符串进行定位和提取。

1、response.xpath方法的返回结果是一个类似list的类型，其中包含的是selector对象，操作和列表一样，但是有一些额外的方法。
2、额外方法extract():返回一个包含有字符串的列表；
3、额外方法extract_first()：返回列表中的第一个字符串，列表为空没有返回None。

4.3 response 响应对象的常用属性

response.url：当前响应的url地址；
response.requst.url:当前响应对应的请求的url地址；
response.headers:响应头；
response.requests.headers:当前响应的请求头；
response.body:响应体，也就是html代码 byte类型；
response.status：响应状态码。

5、保存数据
利用管道pipeline来处理（保存）数据。

5.1 在pipelines.py文件中定义对数据的操作

1）、定义一个管道类；
2）、重写 管道类的process_item方法；
3）、process_item方法处理完item之后必须返回给引擎；

# Define your item pipelines here
# Don't forget to add your pipeline to the ITEM_PIPELINES setting
# See:http://doc.scrapy.org/en.latest/topics/item-pipeline.html
import json

class MyspiderPipeline(object):

    def __init__(self):
        self.file = open('itcast.json','w')

    def process_item(self,item,spider):

        # 将字典数据可视化
        json_data = json.dumps(item,ensure_ascii=False) + '\n'

        # 将数据写入文件
        print('itcast',item)

        # 默认使用完管道之后需要将数据返回给引擎

        return item

    def __del__(self):
        self.file.close()

6.2 在settings.py配置启用管道

ITEM_PIPELINES = {
	'myspider.pipelines.ItcastPipeline':400
}

配置项中键为使用的管道类，管道类使用进行分割，第一个为项目目录，第二个为文件，第三个位定义的管道类。
配置项中值为管道的使用顺序，设置的数值越小约优先执行，该值一般设置为1000以内。

6、运行scrapy
命令：在项目目录中scrapy crawl <爬虫名字>

示例：
scrapy crawl itcast