6.1.scrapy框架原理

scrapy框架原理

scrapy异步框架核心原理

同步异步

同步：下一个方法依赖于上一个方法的结果
异步：下一个方法不依赖于上一个方法的结果

同步爬虫程序的问题：href_s = [url1, url2, url3…]

for href in href_s:
    response = urlopen(href).read()
    # 处理response

url1访问成功后才能进行url2访问…时间浪费在了向服务器发送请求和等待服务器回应上

scrapy

Scrapy主要包括了以下组件：

引擎(Scrapy)
用来处理整个系统的数据流处理, 触发事务(框架核心)
调度器(Scheduler)
用来接受引擎发过来的请求, 压入队列中, 并在引擎再次请求的时候返回. 可以想像成一个URL（抓取网页的网址或者说是链接）的优先队列, 由它来决定下一个要抓取的网址是什么, 同时去除重复的网址
下载器(Downloader)
用于下载网页内容, 并将网页内容返回给蜘蛛(Scrapy下载器是建立在twisted这个高效的异步模型上的)
爬虫(Spiders)
爬虫是主要干活的, 用于从特定的网页中提取自己需要的信息, 即所谓的实体(Item)。用户也可以从中提取出链接,让Scrapy继续抓取下一个页面
项目管道(Pipeline)
负责处理爬虫从网页中抽取的实体，主要的功能是持久化实体、验证实体的有效性、清除不需要的信息。当页面被爬虫解析后，将被发送到项目管道，并经过几个特定的次序处理数据。
下载器中间件(Downloader Middlewares)
位于Scrapy引擎和下载器之间的框架，主要是处理Scrapy引擎与下载器之间的请求及响应。
爬虫中间件(Spider Middlewares)
介于Scrapy引擎和爬虫之间的框架，主要工作是处理蜘蛛的响应输入和请求输出。
调度中间件(Scheduler Middewares)
介于Scrapy引擎和调度之间的中间件，从Scrapy引擎发送到调度的请求和响应。

Scrapy运行流程大概如下:

引擎从调度器中取出一个链接(URL)用于接下来的抓取
引擎把URL封装成一个请求(Request)传给下载器
下载器把资源下载下来，并封装成应答包(Response)
爬虫解析Response
解析出实体（Item）,则交给实体管道进行进一步的处理
解析出的是链接（URL）,则把URL交给调度器等待抓取

scrapy项目创建和配置

pip install scrapy

1. 创建项目
   scrapy startproject【项目名称】
2. 进入项目
   cd【项目名称】
3. 创建爬虫文件
   scrapy genspider【爬虫名字】“【HOST地址】”
4. 运行爬虫文件
   scrapy crawl【爬虫名字】

Setting常用配置

配置	解释
USER_AGENT=" "	User-Agent
ROBOTSTXT_OBEY = True	是否遵守机器人协议，有些网站不允许爬虫，遵守机器人协议就爬不到
DEFAULT_REQUEST	HEADERS={}
CONCURRENT_REQUESTS = 16	设置最大并发请求
DOWNLOAD_DELAY = 3	下载延迟，当访问到服务器时等待一段时间，可以模拟用户访问
SPIDER_MIDDLEWARES = {}	Spider中间件，spider向调度器发送请求时经过的中间件
DOWNLOADER_MIDDLEWARES = {}	Downloader中间件，从调度器拿到请求队列给下载器的时候经过的中间件，从下载器到spider也需要经过这个中间件
ITEM_PIPELINES = {}	管道文件

Spider中的属性和方法：

配置	解释
name=‘spider1’	spider的名称,要求唯一
allowed_domains=[’ edu.csdn.net ']	允许的域名,限制爬虫的范围,如果URL中的HOST不属于其中，则过滤该请求
start_urls=[‘http://edu.csdn.net/’]	初始urls,项目启动时访问的地址
def parse(self,response)	用来解析网页内容,访问start_urls得到响应后调用的方法
def start_requests(self)	生成初始的requests,爬虫开始，执行的方法，相当于start_urls

setting 中开启中间件：
DOWNLOADER_MIDDLEWARES = {
   'myscrapy1.middlewares.Myscrapy1DownloaderMiddleware': 543,
}

middleware中间件:

    def process_request(self, request, spider):
        request.headers = Headers(
            {
                'User-Agent':user_agent.get_user_agent_pc(),
                'Cookie':'·············'
            }
        )
        print('#'*50)
        print('http://'+ur.urlopen('http://api.ip.data5u.com/dynamic/get.html?order=d108e22b5d1598e529f62c6ba1a5bb6f&sep=4').read().decode('utf-8').strip())
        request.meta['proxy']='http://'+ur.urlopen('http://api.ip.data5u.com/dynamic/get.html?order=d108e22b5d1598e529f62c6ba1a5bb6f&sep=4').read().decode('utf-8').strip()
        return None


spider1爬虫文件:

    import scrapy
    class Spider1Spider(scrapy.Spider):
        name = 'spider1'
        allowed_domains = ['blog.csdn.net']
        # start_urls = ['http://blog.csdn.net/']
        #
        def parse(self, response):
            print('-'*20)
            print(response.xpath('//div[contains(@class,"nav_com")]/ul/li/a/text()').extract())#extract相当于read
            print('-' * 20)
        def start_requests(self):# 相当于start_urls并指明回调方法
            yield scrapy.Request(
                url='http://blog.csdn.net/',
                callback=self.parse
            )

start文件：

    from scrapy import cmdline
    cmdline.execute('scrapy crawl spider1'.split())

Pipline管道文件

为了分工明确，pipline专门用于数据IO存储，获取到数据后交给管道文件，管道文件负责数据IO存储

srtting中开启管道文件

    ITEM_PIPELINES = {
    'myscrapy1.pipelines.Myscrapy1Pipeline': 300,
    }


spider1:

    def parse(self, response):
        data = response.xpath('//div[contains(@class,"nav_com")]/ul/li/a/text()').extract()
        item={}
        item['data']=data
        yield item # yield 如果后面是request对象就会交给schedule调度器，yield后面是字典就会将对象交给管道文件

pipline管道文件：

    class Myscrapy1Pipeline(object):
        def process_item(self, item, spider):
            print(item)
            data = item['data']
            save_data = ','.join(data)
            with open('data.txt','w',encoding='utf-8') as f:
                f.write(save_data)
            return item