【Python三方库】Python之Scrapy库的简介、安装、使用方法、示例代码、注意事项等详细攻略

Python之Scrapy库的简介、安装、使用方法、示例代码、注意事项等详细攻略。在网络爬虫和数据抓取领域，Python 被广泛使用，其中 Scrapy 是一个强大且灵活的框架。Scrapy 提供了丰富的功能，使得开发者能够高效地爬取和处理网页数据。本博客旨在介绍 Python 及其三方库 Scrapy 的详细信息，包括 Scrapy 的安装步骤、示例代码及使用注意事项。

---

🧑 博主简介：现任阿里巴巴嵌入式技术专家，15年工作经验，深耕嵌入式+人工智能领域，精通嵌入式领域开发、技术管理、简历招聘面试。CSDN优质创作者，提供产品测评、学习辅导、简历面试辅导、毕设辅导、项目开发、C/C++/Java/Python/Linux/AI等方面的服务，如有需要请站内私信或者联系任意文章底部的的VX名片（ID：gylzbk）

💬 博主粉丝群介绍：① 群内初中生、高中生、本科生、研究生、博士生遍布，可互相学习，交流困惑。② 热榜top10的常客也在群里，也有数不清的万粉大佬，可以交流写作技巧，上榜经验，涨粉秘籍。③ 群内也有职场精英，大厂大佬，可交流技术、面试、找工作的经验。④ 进群免费赠送写作秘籍一份，助你由写作小白晋升为创作大佬。⑤ 进群赠送CSDN评论防封脚本，送真活跃粉丝，助你提升文章热度。有兴趣的加文末联系方式，备注自己的CSDN昵称，拉你进群，互相学习共同进步。

Python常用三方库之Scrapy

1. 摘要

在网络爬虫和数据抓取领域，Python 被广泛使用，其中 Scrapy 是一个强大且灵活的框架。Scrapy 提供了丰富的功能，使得开发者能够高效地爬取和处理网页数据。本博客旨在介绍 Python 及其三方库 Scrapy 的详细信息，包括 Scrapy 的安装步骤、示例代码及使用注意事项。

2. 引言

2.1 什么是 Python？

Python 是一种高级编程语言，以其简单易学、强大灵活及广泛的应用场景而闻名。Python 拥有丰富的标准库和强大的三方库，使得开发者能够快速实现各种功能。

2.2 什么是 Scrapy？

Scrapy 是一个用于高效爬取网站和提取结构化数据的开源爬虫框架。Scrapy 提供了许多内置的功能模块、强大的抽取机制和丰富的扩展接口，有助于简化爬虫开发过程并提高数据抓取效率。

2.3 主要特点

• 强大的爬取能力：支持高度并发的网页爬取，具有很高的效率。
• 丰富的扩展机制：提供多种中间件和扩展接口，可以轻松扩展和定制爬虫功能。
• 数据处理简洁高效：支持多种数据存储方式，方便进行数据处理和存储。
• 良好的文档和社区支持：拥有详细的官方文档和活跃的社区支持，开发资源丰富。

3. 安装 Scrapy

3.1 安装 Python

在安装 Scrapy 之前，需要先安装 Python。可以从 Python 官方网站 下载并安装最新版本的 Python。安装过程中，建议勾选“Add Python to PATH”选项。

3.2 安装 Scrapy

可以使用 Python 包管理器 pip 来安装 Scrapy：

pip install scrapy

如果你使用 Anaconda 作为 Python 发行版，可以使用以下命令安装 Scrapy：

conda install -c conda-forge scrapy

3.3 验证安装

安装完成后，可以在命令行中输入以下命令来验证安装是否成功：

scrapy version

4. Scrapy 示例代码

4.1 创建 Scrapy 项目

首先，创建一个 Scrapy 项目。在命令行中导航到你想要存放项目的目录，并运行以下命令：

scrapy startproject myproject

这会创建一个名为 myproject 的目录，其中包含基本的 Scrapy 项目结构。

4.2 创建爬虫

在项目目录中，进入 spiders 文件夹，并创建一个新的 Python 文件（例如 example_spider.py）。在该文件中，编写爬虫代码：

import scrapy

class ExampleSpider(scrapy.Spider):
    name = 'example'
    start_urls = [
        'https://quotes.toscrape.com/',
    ]

    def parse(self, response):
        for quote in response.css('div.quote'):
            yield {
                'text': quote.css('span.text::text').get(),
                'author': quote.css('span small.author::text').get(),
                'tags': quote.css('div.tags a.tag::text').getall(),
            }

        next_page = response.css('li.next a::attr(href)').get()
        if next_page is not None:
            yield response.follow(next_page, self.parse)

4.3 运行爬虫

在项目根目录中，运行爬虫：

scrapy crawl example

爬虫会抓取 quotes.toscrape.com 网站上的名言并输出到控制台。

4.4 保存数据

可以通过命令行参数将数据保存到文件中，例如 JSON 文件：

scrapy crawl example -o quotes.json

4.5 自定义 Item

在 myproject/items.py 文件中，定义数据模型（Item）：

import scrapy

class QuoteItem(scrapy.Item):
    text = scrapy.Field()
    author = scrapy.Field()
    tags = scrapy.Field()

然后在爬虫中使用该 Item：

import scrapy
from myproject.items import QuoteItem

class ExampleSpider(scrapy.Spider):
    name = 'example'
    start_urls = [
        'https://quotes.toscrape.com/',
    ]

    def parse(self, response):
        for quote in response.css('div.quote'):
            item = QuoteItem()
            item['text'] = quote.css('span.text::text').get()
            item['author'] = quote.css('span small.author::text').get()
            item['tags'] = quote.css('div.tags a.tag::text').getall()
            yield item

        next_page = response.css('li.next a::attr(href)').get()
        if next_page is not None:
            yield response.follow(next_page, self.parse)

4.6 使用中间件

在 myproject/settings.py 文件中，配置下载中间件，例如设置用户代理：

DOWNLOADER_MIDDLEWARES = {
    'scrapy.downloadermiddlewares.useragent.UserAgentMiddleware': None,
    'scrapy_user_agents.middlewares.RandomUserAgentMiddleware': 400,
}

你需要安装 scrapy-user-agents 扩展：

pip install scrapy-user-agents

4.7 数据管道

在 myproject/pipelines.py 文件中，定义数据处理管道（Pipeline）：

class MyProjectPipeline:
    def process_item(self, item, spider):
        item['text'] = item['text'].strip()
        return item

在 myproject/settings.py 文件中，启用数据管道：

ITEM_PIPELINES = {
    'myproject.pipelines.MyProjectPipeline': 300,
}

4.8 爬取数据并保存到数据库

可以使用框架如 SQLAlchemy 来将爬取的数据存储到数据库中。需要在项目设置中启用数据库管道：

# 在 pipelines.py 中定义数据库管道

import sqlalchemy
from sqlalchemy.orm import sessionmaker
from .models import Quote, db_connect, create_table

class MyDatabasePipeline:

    def __init__(self):
        """
        Initializes database connection and sessionmaker.
        Creates tables.
        """
        engine = db_connect()
        create_table(engine)
        self.Session = sessionmaker(bind=engine)

    def process_item(self, item, spider):
        """Save quotes in the database.
        This method is called for every item pipeline component.
        """
        session = self.Session()
        quote = Quote()
        quote.text = item["text"]
        quote.author = item["author"]
        quote.tags = ','.join(item["tags"])

        try:
            session.add(quote)
            session.commit()
        except:
            session.rollback()
            raise
        finally:
            session.close()

        return item

# 在 models.py 中定义数据库模型

from sqlalchemy import create_engine, Column, Table, MetaData
from sqlalchemy.ext.declarative import declarative_base
from sqlalchemy import (Integer, String, Text)
from sqlalchemy.engine.url import URL

import settings

DeclarativeBase = declarative_base()

def db_connect():
    """
    Performs database connection using database settings from settings.py.
    Returns sqlalchemy engine instance
    """
    return create_engine(URL(**settings.DATABASE))

def create_table(engine):
    DeclarativeBase.metadata.create_all(engine)

class Quote(DeclarativeBase):
    """Sqlalchemy quotes model"""
    __tablename__ = "quotes"

    id = Column(Integer, primary_key=True)
    author = Column('author', String)
    text = Column('text', Text)
    tags = Column('tags', String)

# 在 settings.py 中添加数据库配置

DATABASE = {
    'drivername': 'sqlite',
    'database': 'quotes.db'
}

ITEM_PIPELINES = {
    'myproject.pipelines.MyDatabasePipeline': 300,
}

5. 使用注意事项

1. 避免被封禁：合理设置下载延迟和并发请求数，模拟真实用户行为，避免频繁请求导致服务器封禁。
2. 设置用户代理：使用不同的用户代理（User-Agent），避免被识别为爬虫。
3. 处理反爬机制：应对网站的反爬机制，可以使用代理、验证码识别等策略，绕过防护措施。
4. 遵守法律和道德规范：在爬取数据时，确保遵守目标网站的 robots.txt 规则，尊重网站的使用条款和隐私政策。

6. 总结

Scrapy 是一个功能强大且灵活的 Python 爬虫框架，通过 Scrapy，开发者可以高效地爬取和处理网页数据。本文介绍了 Scrapy 框架的安装、基本使用及一些重要的注意事项，希望能帮助读者更好地理解和使用这个强大的工具库。