scrapy爬虫介绍

scrapy框架：Python开发的一个快速、高层次的屏幕抓取和web抓取框架，用于抓取web站点并从页面中提取结构化的数据。Scrapy用途广泛，可以用于数据挖掘、监测和自动化测试。 Scrapy是一个为遍历爬行网站、分解获取数据而设计的应用程序框架，它可以应用在广泛领域：数据挖掘、信息处理和或者历史片（历史记录）打包等等，同时尽管Scrapy原本是设计用来屏幕抓取（更精确的说，是网络抓取）的目的，但它也可以用来访问API来提取数据。

scrapy架构流程

主要组件介绍：
a.爬虫（Spider）：爬虫时主要干活的，用于从特定的网页中提取自己需要的信息，即所谓的实体（Item）。用户也可以从中提取出连接，让Scrapy继续抓取下一个页面。『爬取网站内容』
b.项目管道（Pipeline）：负责处理爬虫从网页中抽取的实体，主要的功能是持久化实体，验证实体的有效性，清除不需要的信息。当页面被爬虫解析后，将被发送到项目管道，并经过几个特定的次序处理数据。『存储爬取的网站内容』
c.下载器中间件：位于Scrapy引擎和下载器之间的框架，主要是处理Scrapy引擎与下载器之间的请求及响应。『将爬取的内容告诉下载器进行下载』
d.爬虫中间件:介于Scrapy引擎和爬虫之间的框架，主要工作是处理蜘蛛的响应输入和请求输出。
e.调度中间件：介于Scrapy引擎和调度之间的中间件，从Scrapy引擎发送到调度的请求和响应。

当时我是在Anaconda中创建一个虚拟环境spider
首先安装Anaconda这个包
使用 conda create -n your_env_name python=X.X（2.7、3.6等)命令创建python版本为X.X、名字为your_env_name的虚拟环境。your_env_name文件可以在Anaconda安装目录envs文件下找到。
source activate spider 进入虚拟环境
scrapy startproject mySpider 创建一个新mySpider工程
基本的框架建立好了
conda info -e #查看当前环境下所创建的虚拟环境
代码示例：（获取博客内容）

import scrapy
from scrapy.shell import inspect_response
from mySpider.items import csdnItem

from mySpider.settings import CsdnPage



class CsdnSpider(scrapy.Spider):
    name = 'csdn'
    allowed_domains = ['csdn.net']
    start_urls = [
        'https://blog.csdn.net/gf_lvah',
        # 'https://blog.csdn.net/gf_lvah',
    ]

    def parse(self, response):
        # 类似于字典的对象

        boxs = response.xpath('//div[@class="article-item-box csdn-tracking-statistics"]')

        for box in boxs:
            # 打印仅为了测试;
            # ************将item对象实例化在for循环里面， 否则每次会覆盖之前item的信息;*******
            item = csdnItem()
            item['title'] = box.xpath('./h4/a/text()')[1].extract().strip()
            item['url'] = box.xpath('./h4/a/@href')[0].extract()
            # print("1. *****************", item['title'])
            yield scrapy.Request(item['url'], meta={'item': item}, callback=self.parse_article)


        for page in range(2, 3):
            url = "https://blog.csdn.net/gf_lvah/article/list/%s" %(page)
            yield  scrapy.Request(url, callback=self.parse)

    def parse_article(self, response):
        item = response.request.meta['item']
        # 打印仅仅为了测试:出现问题的部分.
        # print("2.************************", item['title'])
        # inspect_response(response, self)
        content = response.xpath('//div[@id="article_content"]').extract()[0]
        item['content'] = 'aaa'
        yield item