python网络爬虫系列教程——Scrapy框架应用全解

版权声明:本文为博主原创文章,转载请注明来源。开发合作联系82548597@qq.com https://blog.csdn.net/luanpeng825485697/article/details/78439210

全栈工程师开发手册 (作者:栾鹏)

python教程全解

安装

在cmd中输入
Scrapy的安装依赖wheel、twiste、lxml包。所以先通过pip install wheel安装wheel库,通过pip install lxml安装lxml库,不过twiste包必须通过离线whl文件安装。

进入http://www.lfd.uci.edu/~gohlke/pythonlibs/,在网页中搜索twisted找到其对应的whl包并下载
Twisted‑17.9.0‑cp36‑cp36m‑win_amd64.whl
离线包的安装请参考:
http://blog.csdn.net/luanpeng825485697/article/details/77816740

成功安装了上面的依赖包,就可以通过pip在线安装Scrapy了

pip install Scrapy

等待一会,大功告成!

验证安装:cmd中输入Scrapy,显示如下图,表示安装成功。现在Scrapy已经出到了1.4版

这里写图片描述

另外你需要在cmd中输入以下命令,分别安装pywin32、pyOPENSSL、lxml包。

pip install pywin32
pip install pyOPENSSL
pip install lxml

scrapy处理流程

Scrapy Engine(Scrapy核心) 负责数据流在各个组件之间的流动。Spiders(爬虫)发出Requests请求,经由Scrapy Engine(Scrapy核心) 交给Scheduler(调度器),Downloader(下载器)Scheduler(调度器) 获得Requests请求,然后根据Requests请求,从网络下载数据。Downloader(下载器)的Responses响应再传递给Spiders进行分析。根据需求提取出Items,交给Item Pipeline进行下载。Spiders和Item Pipeline是需要用户根据响应的需求进行编写的。除此之外,还有两个中间件,Downloaders Mddlewares和Spider Middlewares,这两个中间件为用户提供方面,通过插入自定义代码扩展Scrapy的功能,例如去重等。因为中间件属于高级应用,本次教程不涉及,因此不做过多讲解。
这里写图片描述

github托管:https://github.com/626626cdllp/crawler/tree/master/myscrapy

scrapy项目demo

要理解上面的流程,spiders文件夹下定义的爬虫,请求网址,获取响应,解析数据,赋值想要的数据给items中定义的类实体。最后会自动调用pipelines下的类获取items中的数据,进一步做处理。

今天我们来实现获取我的csdn中的全部文章的名称、阅读书目、链接
我的首页http://blog.csdn.net/luanpeng825485697

1、创建项目

创建项目,在cmd中先cd到你的项目路径,然后使用scrapy创建一个项目。这里将项目放在D:\scrapydemo文件夹下
所以在cmd中执行

D:
cd /scrapydemo
scrapy startproject projectname

scrapy startproject是固定命令,后面的projectname是自己想起的工程名字。

该命令将会创建包含下列内容的projectname目录:

projectname/
     scrapy.cfg
     projectname/
        __init__.py
        items.py
        middlewares.py
        pipelines.py
        settings.py
        spiders/
            __init__.py
            ...

这些文件分别是:

scrapy.cfg: 项目的配置文件;
projectname/: 该项目的python模块。之后将在此加入Spider代码;
projectname/items.py: 项目中的item文件,定义需要的实体类
projectname/middlewares .py:项目中的中间件,不用关心
projectname/pipelines.py: 项目中的pipelines文件;用来写爬虫之后的处理文件
projectname/settings.py: 项目的设置文件,定义参数
projectname/spiders/: 放置spider代码的目录。定义爬虫要放在这个文件夹下。

2、定义我们需要的实体类items.py

在这里我们定义我们需要的文章名称、链接、阅读数目

# -*- coding: utf-8 -*-

# 定义我们要爬取信息的标准格式,这个类被爬虫引用,爬虫解析数据后赋值给该类实例,并将类实例提交给pipelines,再进行进一步处理。

import scrapy

class myentity(scrapy.Item):
    name = scrapy.Field()
    link = scrapy.Field()
    readnum = scrapy.Field()

3、创建一个爬虫

我们使用这个爬虫获取博客下的文章名称、链接地址、阅读数量。

在projectname/spiders/文件夹下新建一个crawl_spider.py,我们在这里实现请求、响应、解析的过程。

xpath语法参考http://blog.csdn.net/luanpeng825485697/article/details/78410691

# -*- coding: utf-8 -*-
# 在这里实现请求、响应、解析的过程

import re
import scrapy
import urllib
from scrapy import Selector
from projectname.items import myentity

class MySpider(scrapy.Spider):
    name = 'myspider'       #爬虫名称,需要这个名称才能启动爬虫
    def __init__(self):
        self.allowed_domains = ['blog.csdn.net']
        self.start_urls = ['http://blog.csdn.net/luanpeng825485697/article/list/']

    #从start_requests发送请求
    def start_requests(self):
        yield scrapy.Request(url = self.start_urls[0]+"1", meta = {'data':1},callback = self.parse1)  #请求网址,设置响应函数,同时向响应函数传递参数

    #解析response,获得文章名称、连接、阅读数目,还可以进行二次请求。
    def parse1(self, response):
        index = response.meta['data']  #接收请求函数发来的参数
        if index>100:  #这里只爬取前100页
            return
        hxs = Selector(response)
        #文章链接地址
        links = hxs.xpath("//span[@class='link_title']/a[1]/@href").extract()  #xpath路径表达式获取文章连接地址
        #文章名
        names = hxs.xpath("//span[@class='link_title']/a[1]/text()").extract()  #xpath路径表达式获取文章名
        #文章阅读数量
        reads = hxs.xpath("//span[@class='link_view']/text()").extract()  #xpath路径表达式获取文章阅读数量

        #将爬取的数据赋值给items
        for i in range(1,len(links)):
            item = myentity()
            item['link'] = urllib.parse.urljoin('http://blog.csdn.net/',links[i])  #获取绝对域名
            item['name'] = names[i]
            item['readnum'] = reads[i]
            # 返回item,交给item pipeline处理
            yield item

        #迭代下一页
        yield scrapy.Request(url=self.start_urls[0]+str(index+1), meta={'data': index+1}, callback=self.parse1)

4、设置pipeline处理文件

pipeline主要是负责根据item数据进行下一步处理,比如下载图片,保存文件,
这里只是把item中的文章名称、链接、阅读书目进行保存文件。

# -*- coding: utf-8 -*-
#pipelines.py主要根据item保存的信息,进行进一步多线程操作

from projectname import settings
from scrapy import Request
import requests
import os


class MyPipeline(object):
    allpaper=[]
    def process_item(self, item, spider):
        paper={}
        paper['name']=item['name']
        paper['link'] = item['link']
        paper['read'] = item['readnum']
        self.allpaper.append(paper)

        file_object = open('data.txt', 'a')
        file_object.write(str(paper)+"\r\n")
        file_object.close()
        return item

5、完善settings配置文件

settings.py中的内容大部分都是自动生成的,我们不需要做太多改动,在这里只是使用字典的形式定义自己的pipelines中的处理类

SPIDER_MODULES = ['projectname.spiders']  #自动生成的内容;
NEWSPIDER_MODULE = 'projectname.spiders'  #自动生成的内容;

# Obey robots.txt rules  #它的作用是,告诉搜索引擎爬虫,本网站哪些目录下的网页不希望你进行爬取收录
ROBOTSTXT_OBEY = False  #自动生成的内容,是否遵守robots.txt规则,这里选择不遵守;

ITEM_PIPELINES = {   #定义item的pipeline;
    'projectname.pipelines.MyPipeline': 1,  #此处的1表示优先级,因为本项目只用到这一个pipeline,所以随意取0-1000中的一个数值即可
}

DOWNLOAD_DELAY = 0.25   # 下载延时,这里使用250ms延时。

COOKIES_ENABLED = False  #Cookie使能,这里禁止Cookie;

支持我们需要编写的东西都完成了

下图是文件目录结构
这里写图片描述

6、运行scrapy项目

首先在cmd中cd到自己的项目文件夹下,即scrapy.cfg所在的目录中,这里cd到D:\scrapydemo\projectname文件夹下,然后使用下面的代码运行自己的爬虫。myspider就是在crawl_spider.py文件中的name变量

scrapy crawl myspider
展开阅读全文

没有更多推荐了,返回首页