scrapy框架一

最新推荐文章于 2024-09-14 19:55:48 发布
最新推荐文章于 2024-09-14 19:55:48 发布
阅读量126 收藏
点赞数
分类专栏： python爬虫 文章标签： python 爬虫
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/lubuhan/article/details/127504174
版权
本文详细介绍了Scrapy爬虫框架的安装、基本使用、设置配置以及如何进行持久化存储，包括存储到本地文件和MySQL数据库。同时，展示了如何利用Scrapy处理图片下载，并给出了具体的代码示例。通过这些步骤，读者可以全面了解Scrapy并快速上手进行网络数据抓取和存储。
摘要由CSDN通过智能技术生成

scrapy学习

scrapy解释

  • scrapy就是一个基于异步的爬虫框架

环境安装

  • linux/Mac
    • pip install scrapy
  • windows
    • pip install wheel
    • 根据py和系统版本下载对应的twisted http://www.lfd.uci.edu/~gohlke/pythonlibs/#twisted
    • 进入下载的目录Twisted-20.3.0-cp36-cp36m-win_amd64.whl
    • pip install pywin
    • pip install scrapy

基本使用

  1. 创建一个工程: scrapy startproject ProName
  2. 进入工程: cd ProName
  3. 创建一个爬虫文件: scrapy genspider spiderName www.xx.com
  4. 执行工程: scrapy crawl spiderName
    • 将parse返回的值存储到本地文件中的命令: scrapy crawl spiderName -o 文件名.指定后缀名

settings相关配置

  • 指定UA: USER_AGENT = '...'

  • 关闭robots: ROBOTSTXT_OBEY = False

  • 指定日志等级: LOG_LEVEL = 'ERROR'

  • # 管道类的优先级，数字越小优先级越高
ITEM_PIPELINES = {
   'ProName.pipelines.ProNamePipeline': 300,
}

  • 指定图片下载位置: IMAGES_STORE = 'img'

持久化存储案例

  1. 创建工程: scrapy startproject one

  2. 进入到工程: cd one

  3. 创建爬虫文件: scrapy genspider first www.xx.com

  4. # 目录结构
one
    │  items.py
    │  middlewares.py
    │  pipelines.py
    │  settings.py
    │  __init__.py
    │
    ├─spiders
    │  │  first.py
    │  │  __init__.py

  5. 爬虫文件编写

    # first.py
import scrapy
from one.items import OneItem


class FirstSpider(scrapy.Spider):
    name = 'first'
    # allowed_domains = ['www.xx.com']
    start_urls = ['http://www.xx.com/']  # 填写相应的URL
    url = 'http://www.xx.com/%d/'  # 爬取多页
    page = 2  # 页码

    def parse(self, response):
        li_list = response.xpath("...")
        for li in li_list:
            title = li.xpath('...').extract_first()
            detail_url = li.xpath('...').extract_first()  # 详情页面的url

            item = OneItem()  # 实例化OneItem对象
            item['title'] = title
            item['url'] = url
            
            yield scrapy.Request(detail_url, callback=self.parse_detail, meta={'item': item})  # 请求传参
        
        if self.page <= 50:
            new_url = self.url % self.page
            self.page += 1
            # 手动发送请求
            yield scrapy.Request(new_url, callback=self.parse)  # 触发递归
        
    def parse_detail(self, response):
        item = response.meta['item']
        url = response.xpath('...').extract_first()
        item['url'] = url
        yield item
 

  6. # items.py
import scrapy


class OneItem(scrapy.Item):
    # define the fields for your item here like:
    title = scrapy.Field()
    url = scrapy.Field()

  7. 数据库相关配置

    mysql -uroot -p123  # 进入到数据库
create databases scrapy;  # 创建数据库
use scrapy;  # 使用数据库
create table first (title varchar(50), url varchar(128));  # 创建相关表

  8. 持久化存储相关配置

    import pymysql


class TextPipeline:

    fp = None  # 新建一个文件句柄

    def open_spider(self, spider):
        """ 爬虫开始触发 """
        print("爬虫开始了")
        self.fp = open('a.txt', 'w', encoding='utf-8')

    def process_item(self, item, spider):
        self.fp.write(item['title'] + ": " + item['url'] + '\n')
        return item

    def close_spider(self, spider):
        """ 爬虫结束触发 """
        print("爬虫结束了")
        self.fp.close()


class MysqlPipeline:

    conn = None
    cursor = None

    def open_spider(self, spider):
        """ 爬虫开始触发 """
        print("爬虫开始了(Mysql存储)")
        self.conn = pymysql.Connect(
            host='127.0.0.1',
            port=3306,
            database='scrapy',
            user='root',
            password='123',
            charset='utf8'
        )

    def process_item(self, item, spider):
        self.cursor = self.conn.cursor()
        sql = 'insert into first values ("%s", "%s")' % (item['title'], item['url'])
        try:
            self.cursor.execute(sql)
            self.conn.commit()
        except Exception as e:
            print(e)
            self.conn.rollback()

        return item

    def close_spider(self, spider):
        """ 爬虫结束触发 """
        print("爬虫结束了(Mysql存储)")
        self.cursor.close()
        self.conn.close()

  9. settings文件相关配置

    # 添加或修改以下配置
USER_AGENT = 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/106.0.0.0 Safari/537.36'

ROBOTSTXT_OBEY = False
LOG_LEVEL = 'ERROR'

ITEM_PIPELINES = {  # 设置存储权重
   'one.pipelines.MysqlPipeline': 300,
   'one.pipelines.TextPipeline': 301,
}

  10. 启动工程: scrapy crawl first

图片存储案例

  1. 创建工程: scrapy startproject one

  2. 进入到工程: cd one

  3. 创建爬虫文件: scrapy genspider first www.xx.com

  4. # 目录结构
one
    │  items.py
    │  middlewares.py
    │  pipelines.py
    │  settings.py
    │  __init__.py
    │
    ├─spiders
    │  │  first.py
    │  │  __init__.py

  5. 爬虫文件编写

    # first.py
import scrapy
from one.items import OneItem


class FirstSpider(scrapy.Spider):
    name = 'first'
    # allowed_domains = ['www.xx.com']
    start_urls = ['http://www.xx.com/']  # 填写相应的URL
    url = 'http://www.xx.com/%d/'  # 爬取多页
    page = 2  # 页码

    def parse(self, response):
        li_list = response.xpath("...")
        for li in li_list:
            title = li.xpath('...').extract_first() + '.jpg'
            detail_url = li.xpath('...').extract_first()  # 详情页面的url

            item = OneItem()  # 实例化OneItem对象
            item['title'] = title
            item['url'] = url
            
            yield scrapy.Request(detail_url, callback=self.parse_detail, meta={'item': item})  # 请求传参
        
        if self.page <= 50:
            new_url = self.url % self.page
            self.page += 1
            # 手动发送请求
            yield scrapy.Request(new_url, callback=self.parse)  # 触发递归
        
    def parse_detail(self, response):
        item = response.meta['item']
        url = response.xpath('...').extract_first()
        item['url'] = url
        yield item
 

  6. # items.py
import scrapy


class OneItem(scrapy.Item):
    # define the fields for your item here like:
    title = scrapy.Field()
    url = scrapy.Field()

  7. 图片存储和下载相关配置

    import scrapy

from scrapy.pipelines.images import ImagesPipeline


class ImgPipeline(ImagesPipeline):
    # 对指定url发送请求
    def get_media_requests(self, item, info):
        yield scrapy.Request(item['url'], meta={'item': item})

    # 指定图片存储的路径
    def file_path(self, request, response=None, info=None, *, item=None):
        item = request.meta['item']
        title = item['title']
        return title

  8. settings文件相关配置

    # 添加或修改以下配置
USER_AGENT = 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/106.0.0.0 Safari/537.36'

ROBOTSTXT_OBEY = False
LOG_LEVEL = 'ERROR'
IMAGES_STORE = 'img'  # 设置图片文件存储路径

ITEM_PIPELINES = {  # 设置存储权重
   'one.pipelines.ImgPipeline': 300,
}

  9. 启动工程: scrapy crawl first

bhlu
关注
专栏目录
【Python爬虫必备—＞Scrapy框架快速入门篇——上】
孤寒者的博客
08-09 61万+
【Python爬虫必备—＞Scrapy框架快速入门篇——上】
Python爬虫之Scrapy框架系列（1）——初识Scrapy框架【安装+简介+运行流程+组件介绍】
热门推荐
孤寒者的博客
07-05 3万+
Python爬虫之Scrapy框架系列（1）——初识Scrapy框架【安装+简介+运行流程+组件介绍】
Scrapy框架介绍
W_chuanqi的博客
11-06 1251
Scrapy 是一个基于 Python 开发的爬虫框架，可以说它是当前Python爬虫生态中最流行的爬虫框架，该框架提供了非常多爬虫相关的基础组件，架构清晰，可扩展性极强。基于Scrapy，我们可以灵活高效地完成各种爬虫需求。在学习，我们大多是基于requests 或 aiohttp 来实现爬虫的整个逻辑的。可以发现，在整个过程中，我们需要实现爬虫相关的所有操作，例如爬取逻辑、异常处理、数据解析、数据存储等，但其实这些步骤很多都是通用或者重复的。
玩转 Scrapy 框架 (一)：Scrapy 框架介绍及使用入门
Amo Xiang的博客
12-20 1万+
本文我们通过抓取Quotes网站完成了整个Scrapy的简单入门，到此为止我们应该能对Scrapy的基本用法有一个初步的概念了。不过本文内容仅仅是Scrapy所有功能的冰山一角，还有很多内容等待我们去探索，我们后续文章继续学习。
Scrapy框架（高效爬虫）
weixin_46287157的博客
03-04 8928
Scrapy拥有高性能持久化存储，异步数据下载，高性能数据解析，分布式功能。
scrapy框架了解与使用
weixin_52596593的博客
12-07 845
Scrapy 是开源和协作的一个基于 Twisted 实现的异步处理爬虫框架使用纯 Python 语言编写，被誉为爬虫界的Django，Scrapy 框架应用广泛，常用于数据采集、网络监测，以及自动化测试等mac、linux系统 在Windows中可能会出现报错等情况这是因为依赖没有安装需要先安装相关依赖 创建Scrapy爬虫项目 在pycharm中运行 Scrapy架构工作流程 Scrapy 框架构成组件：Scrapy 工作流程示意图如下所示： 1.2增加爬虫的爬取效率 持
python的scrapy框架介绍
lwx666sl的博客
04-27 1299
在Scrapy项目中，爬虫是用于定义如何爬取特定网站的类。在项目的spiders目录中，可以创建一个新的Python文件来定义你的爬虫。# 在这里处理网页响应，提取数据等pass在上面的示例中，我们定义了一个名为MySpider的爬虫，指定了名称为example，并指定了起始URL为。在parse方法中，你可以处理网页响应，并提取你需要的数据。Scrapy提供了多种数据存储的方式，如存储为JSON、CSV或数据库。你可以在项目的pipelines.py文件中定义数据存储管道。
1. Scrapy 框架介绍
快乐的大大大飞猪
10-07 298
Scrapy是Python开发的一个快速,高层次的屏幕抓取和web抓取框架，用于抓取web站点并从页面中提取结构化的数据。Scrapy用途广泛，可以用于数据挖掘、监测和自动化测试、信息处理和历史档案等大量应用范围内抽取结构化数据的应用程序框架，广泛用于工业Scrapy 使用Twisted 这个异步网络库来处理网络通讯，架构清晰，并且包含了各种中间件接口，可以灵活的完成各种需求。Scrapy是由Twisted写的一个受欢迎的Python事件驱动网络框架，它使用的是非堵塞的异步处理。
Python 爬虫 之scrapy 框架
牛牛博士博客
12-02 1923
Python 爬虫 之scrapy 框架
Scrapy 框架
MagicOct的博客
06-12 2636
Scrapy 是一个基于 Twisted 的异步处理框架，是纯 Python 实现的开源爬虫框架，其架构清晰，模块之间的耦合程度低，可扩展性极强，可以灵活完成各种需求。自定义 Item Pipeline 很简单，每个 Item Pipeline 组件都是一个独立的 Python 类，该类中的 process_item 方法必须实现，每个 Item Pipeline 组件都需要调用 process_item 方法。
scrapy框架1
08-03
Scrapy是一个强大的Python爬虫框架，它为开发者提供了一个简单的方式来构建网络爬虫，用于抓取网站数据并提取结构化信息。Scrapy的核心组件包括Scrapy Engine（引擎）、Scheduler（调度器）、Downloader（下载器）、...
Scrapy框架1
08-08
Middleware是Scrapy框架中的扩展机制，分为Downloader Middleware和Spider Middleware。Downloader Middleware在Downloader与Engine之间，允许用户自定义下载行为，如处理HTTP缓存、用户代理等。Spider Middleware则...
解析Python网络爬虫：核心技术、Scrapy框架、分布式爬虫全套教学资料
10-25
本套教学资料深入解析了Python爬虫的核心技术、Scrapy框架以及分布式爬虫的实现，旨在帮助学习者掌握这一领域的核心技能。 一、Python爬虫核心技术 Python语言因其简洁明了的语法和丰富的第三方库而成为网络爬虫...
Python办公自动化案例（二）：对比两个Excel数据内容并标出不同
衍生星球的博客
09-14 151
在数据处理和分析的日常工作中，我们经常需要比较两个Excel文件的差异。这可能是为了验证数据的一致性、检查数据的准确性，或者在版本控制中追踪更改。手动比较这些文件不仅耗时，而且容易出错。幸运的是，Python的openpyxl库提供了一种自动化这一过程的方法。
蒙特卡罗方法——布丰投针实验近似计算圆周率python代码实现
2301_79376014的博客
09-09 516
蒙特卡罗——布丰实验
Python实现多线程、多进程及协程
qq_42568323的博客
09-09 1105
本文详细介绍了 Python 中多线程、多进程和协程的并发模型及其实现方式，并通过具体场景演示了如何使用面向对象思想实现这些模型。在实际应用中，应根据任务的类型和需求选择合适的并发模型，从而优化程序的性能和资源利用率。本文将详细介绍 Python 中的多线程、多进程和协程的概念及其实现方式，并通过具体场景展示如何在 Python 中使用面向对象的思想实现这些并发模型。接下来，我们通过一个计算密集型任务的示例来演示多进程的实现：计算一系列大数字的阶乘。主程序中创建并启动了多个计算进程，并使用。
Python——俄罗斯方块
最新发布
2302_81225694的博客
09-14 229
这段代码使用了Pygame库来实现游戏的图形界面，通过键盘控制方块的移动和旋转。游戏循环不断更新方块的位置和网格状态，并绘制在屏幕上。在方块达到底部或无法继续移动时，判断是否有满行，并清除满行的方块。游戏会根据方块的状态和移动情况不断更新，直到无法继续下落为止，游戏结束。俄罗斯方块游戏是一款经典的益智游戏，通常使用编程语言Python来实现。请注意，这只是一个简单的示例，可能还有一些功能和优化方面的改进。您可以根据自己的需求进行修改和扩展。
JIT编译器
Flying_Fish_roe的博客
09-11 566
JIT（Just-In-Time，实时编译）编译器是 Java 虚拟机（JVM）中的一项重要技术，用于将 Java 字节码（Bytecode）在运行时动态编译为机器码。Java 程序最初通过编译器（如javac）将源代码编译为字节码，字节码在 JVM 中解释执行。然而，由于解释执行每次都需要逐条翻译字节码指令为机器指令，这种方式效率较低。为了解决性能问题，JIT 编译器在程序运行时将热点代码编译为机器码，从而提高运行效率。JIT 编译器是 Java“编译型”和“解释型”语言的结合特性的重要体现之一。
Python 检测人脸筛选指定尺寸人脸图片
刚刚入门的小码农
09-09 686
主要功能是处理一个指定文件夹中的所有图像文件（.jpg和.png），并根据图像中检测到的人脸特征，筛选和移动符合条件的图像。
Python安装Scrapy框架图文教程
"Python安装Scrapy框架的图文详细教程" 在Python的世界里，Scrapy是一个强大的爬虫框架，常被用于数据抓取、数据挖掘、监控以及自动化测试等任务。其设计模式灵活，允许开发者快速构建复杂的爬虫项目，极大地提高了...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值