Python最火爬虫框架Scrapy入门与实践

最新推荐文章于 2024-08-05 20:06:05 发布

bfhonor

最新推荐文章于 2024-08-05 20:06:05 发布

阅读量2k

点赞数 1

分类专栏： Python 文章标签： python 大数据 scrapy 爬虫

本文链接：https://blog.csdn.net/qq_44096670/article/details/106096904

版权

Python 专栏收录该内容

10 篇文章 2 订阅

订阅专栏

Python最火爬虫框架Scrapy入门与实践

Scrapy框架简介

Scrapy 是用 Python 实现的一个为了爬取网站数据、提取结构性数据而编写的应用框架。
Scrapy 常应用在包括数据挖掘，信息处理或存储历史数据等一系列的程序中。
通常我们可以很简单的通过 Scrapy 框架实现一个爬虫，抓取指定网站的内容或图片。

Scrapy架构图(绿线是数据流向)：

在这里插入图片描述

Scrapy Engine（引擎）：负者Spider、ItemPipeline、Downloader、Scheduler中间的通讯，信号、数据转递等。
Scheduler(调度器) ：它负责接受引擊发送过来的Request请求,并按照一定的方式进行整理排列，入
队,当引擎需要时，交还给引擎。
Downloader (下载器)：负责下载Scrapy Engine(引擎)发送的所有Requests请求，并将其获取到的
Responses交还给Scrapy Engine(引擎) ，由引擎交给Spider来处理。
Spider (爬虫) ：它负责处理所有Responses，从中分析提取数据，获取Item字段需要的数据,并将需要
跟进的URL提交给引擎，再次进入Scheduler(调度器)。
Item Pipeline(管道) ：它负责处理Spider 中获取到的Item ，并进行进行后期处理(详细分析、过滤、
存储等)的地方。
Downloader Middlewares (下载中间件) : 你可以当作是一个可以自定义扩展下载功能的组件。
Spider Middlewares (Spider中间件) : 你可以理解为是一个可以自定扩展和操作引擎和Spider中
间通信的功能组件(比如进入Spider的Responses;和从Spider出去的Requests )

制作 Scrapy 爬虫一共需要4步：

新建项目 (scrapy startproject xxx)：新建一个新的爬虫项目
明确目标（编写items.py）：明确你想要抓取的目标
制作爬虫（spiders/xxspider.py）：制作爬虫开始爬取网页
存储内容（pipelines.py）：设计管道存储爬取内容

入门案例

分析：

创建一个Scrapy项目。
定义提取的结构化数据（Item）。
编写爬取网站的Spider并且提取出结构化数据（Item）。
编写Item Pipelines 来存储提取到的Item（即结构化数据）。

一、新建scrapy项目工程（scrapy startproject）

在开始爬取之前，必须创建一个新的Scrapy项目，进入自定义的项目目录中。运行下列命令：
在pycharm界面中打开 View --> Tool Windows --> Terminal

(1) 验证scrapy是否成功安装：
在Terminal中输入 scrapy 看看是否显示scrapy信息
倘若出现：‘scrapy’ 不是内部或外部命令，也不是可运行的程序或批处理文件。
在这里插入图片描述
①、碰到这个问题，一般是pip重装或者升级过导致的，这里的解决方案是:先运行pip uninstall scrapy卸载scrapy。
②、这里会提示是否继续，输入y然后回车即可。
③、接下来重新安装scrapy，pip install scrapy。
④、安装完成之后，输入scrapy运行测试
在这里插入图片描述

（2）创建scrapy项目工程
在Terminal中输入：

# scrapy startproject + 自定义的项目名称
Scrapy  startproject  ITcast

成功创建项目的目录为：
在这里插入图片描述
文件说明：

scrapy.cfg 项目的配置信息，主要为Scrapy命令行工具提供一个基础的配置信息。（真正爬虫相关的配置信息在settings.py文件中）
items.py：设置数据存储模板，用于结构化数据，如：Django的Model
pipelines.py：数据处理行为，如：一般结构化的数据持久化
settings.py：配置文件，如：递归的层数、并发数，延迟下载等
spiders：爬虫目录，如：创建文件，编写爬虫规则

（3）创建写爬虫的文件

# scrapy genspider +名称 + '网站' 
#建立爬虫文件   
scrapy genspider itcast "itcast.cn"

结果为：

在这里插入图片描述

二、制作爬虫

1. 爬数据

打开 ITcast/spider目录里的 itcast.py，默认增加了下列代码:

# -*- coding: utf-8 -*-
import scrapy


class ItcastSpider(scrapy.Spider):
    name = 'itcast'
    allowed_domains = ['itcast.cn']
    start_urls = ['http://itcast.cn/']

    def parse(self, response):
        pass

也可以自行创建itcast.py并编写上面的代码，只不过使用命令可以免去编写固定代码的麻烦

要建立一个Spider，你必须用scrapy.Spider类创建一个子类，并确定了三个强制的属性和一个方法。
name = “” ：这个爬虫的识别名称，必须是唯一的，在不同的爬虫必须定义不同的名字。
allow_domains = [] 是搜索的域名范围，也就是爬虫的约束区域，规定爬虫只爬取这个域名下的网页，不存在的URL会被忽略。
start_urls = () ：爬取的URL元祖/列表。爬虫从这里开始抓取数据，所以，第一次下载的数据将会从这些urls开始。其他子URL将会从这些起始URL中继承性生成。
parse(self, response) ：解析的方法，每个初始URL完成下载后将被调用，调用的时候传入从每一个URL传回的Response对象来作为唯一参数，主要作用如下：
负责解析返回的网页数据(response.body)，提取结构化数据(生成item)
生成需要下一页的URL请求。

将start_urls的值修改为需要爬取的第一个url

start_urls = ['http://www.itcast.cn/channel/teacher.shtml']

2. 取数据

爬取整个网页完毕，接下来的就是的取过程了，首先观察页面源码：
在这里插入图片描述
xpath 方法，我们只需要输入的 xpath 规则就可以定位到相应 html 标签节点。
Chrome 给我们提供了一键获取 xpath 地址的方法（右键->检查->copy->copy xpath）,如下图:

/html/head/title: 选择HTML文档中 <head> 标签内的 <title> 元素
/html/head/title/text(): 选择上面提到的 <title> 元素的文字
//td: 选择所有的 <td> 元素
//div[@class="mine"]: 选择所有具有 class="mine" 属性的 div 元素

3、编写代码

需要编写四个相关联的文件：itcast.py、items.py、settings.py、pipelines.py (管道文件)。
(1) itcast.py

# -*- coding: utf-8 -*-
import scrapy
 #导入容器
from ITcast.items import  ItcastItem
class ItcastSpider(scrapy.Spider):
    # 爬虫名 启动爬虫时需要的参数*必需
    name = 'itcast'
    # 爬取域范围 允许爬虫在这个域名下进行爬取（可选）  可以不写
    allowed_domains = ['itcast.cn']
    #起始url列表  爬虫的第一批请求，将求这个列表里获取
    start_urls = ['http://www.itcast.cn/channel/teacher.shtml']
    def parse(self, response):
        node_list = response.xpath("//div[@class='li_txt']")
        for node in node_list:
            #创建item字段对象，用来存储信息
            item = ItcastItem()
            # .extract() 将xpath对象转换围殴Unicode字符串
            name = node.xpath("./h3/text()").extract()
            title = node.xpath("./h4/text()").extract()
            info = node.xpath("./p/text()").extract()
            item['name'] = name[0]
            item['title'] = title[0]
            item['info'] = info[0]
            #返回提取到的每一个item数据 给管道文件处理，同时还会回来继续执行后面的代码
            yield item

（2）items.py

# -*- coding: utf-8 -*-
# Define here the models for your scraped items
#
# See documentation in:
# https://doc.scrapy.org/en/latest/topics/items.html
 
import scrapy
class ItcastItem(scrapy.Item):
    # define the fields for your item here like:
    # 与itcast.py 定义的一一对应
    name = scrapy.Field()
    title = scrapy.Field()
    info = scrapy.Field()
    #pass

（3）settings.py
找到以下字段，取消字段的注释。

ITEM_PIPELINES = {
    'ITcast.pipelines.ItcastPipeline': 100,     #值越小优先级越高
}

(4) pipelines.py (管道文件)

import json
class ItcastPipeline(object):
    def __init__(self):
        #python3保存文件 必须需要'wb'  保存为json格式
        self.f = open("itcast_pipeline.json",'wb')
    def process_item(self, item, spider):
        #读取item中的数据 并换行处理
        content = json.dumps(dict(item),ensure_ascii=False) + ',\n'
        self.f.write(content.encode('utf=8'))
        return item
    def close_spider(self,spider):
        #关闭文件
        self.f.close()