爬虫笔记（10/9）-------scrapy核心架构

（1）常用的scrapy组件

1.scrapy引擎

控制整个数据处理流程，以及触发一些事务处理。

2.调度器

存储爬取的网址，确定网址的优先级。

3.下载器

对网络上要爬去的网页资源进行高速下载，该组件需要通过网络进行大量数据的传输，压力负担会比其他组件大

4.下载中间件

可以加入自定义代码，比如实现ip池和用户代理池等功能

5.蜘蛛

接受scrapy引擎中的response响应，接受响应后，会对response进行分析处理，然后提取对应的关注数据。

6.爬虫中间件

可以加入自定义代码

7.实体管道

接受spider提取出来的项目，对项目进行处理，常见处理：清洗、验证、存储带数据库等

（2）scrapy中文输出与存储

创建爬虫项目mypjt

scrapy startproject mypjt

创建一个基于basic爬虫模板的爬虫文件

scrapy genspider -t basic weisuen sina.com.cn --nolog

编写items.py

import scrapy


class MypjtItem(scrapy.Item):
    # define the fields for your item here like:
    # name = scrapy.Field()
    title = scrapy.Field()

编写爬虫spider/weisuen.py

import scrapy

from mypjt.items import MypjtItem
class WeisuenSpider(scrapy.Spider):
    name = 'weisuen'
    allowed_domains = ['sina.com.cn']
    start_urls = ('http://tech.sina.com.cn/d/s/2016-09-17/doc-ifxvyqwa3324638.shtml')

    def parse(self, response):
        item=MypjtItem()
        item["title"]=response.xpath("/html/head/title/")
        print(item["title"])

cmd：scrapy crawl weisuen --nolog
（3）scrapy的中文存储

在settings.py里面设置

ITEM_PIPELINES = {
    'mypjt.pipelines.MypjtPipeline': 300,
}

再修改文件pipeline.py

import codecs
class MypjtPipeline(object):
    def __init__(self):
        self.file=codecs.open("。。。\mydata1.txt","wb",encoding="utf-8")
    def process_item(self, item, spider):
        l = str(item) + '\n'
        print(l)
        self.file.write(l)
        return item
    def close_spider(self,spider):
        self.file.close()

cmd:scrapy crawl weisuen --nolog

（3）输出中文到json文件

不想写了~~~~~~~