Python爬虫入门教程 76-100 用Celery继续搞定分布式爬虫

最新推荐文章于 2023-05-23 09:45:00 发布
最新推荐文章于 2023-05-23 09:45:00 发布
阅读量1.9w 收藏 16
点赞数 6
分类专栏： 爬虫100例教程 文章标签： python celery 爬虫百例 爬虫100例 Python爬虫入门教程
梦想橡皮擦-独家版权，禁止转载
本文链接：https://blog.csdn.net/hihell/article/details/107956596
版权
爬虫100例教程 专栏收录该内容
118 篇文章 1562 订阅 ¥99.90 ¥299.90
订阅专栏
本文介绍了使用Celery实现Python分布式爬虫的步骤，包括任务队列概念、Celery任务定义、任务调用API以及配置文件解析。通过实例代码展示了如何创建和运行Celery worker，强调了关键参数如并发数的设置。文章末尾提供了相关资源链接和作者信息。
摘要由CSDN通过智能技术生成

文章目录

写在前面

对于分布式爬虫学习来说，或者对于技术学习来说，没有捷径，两条路可以走，第一自己反复练习，孰能生巧；第二看别人分享的代码反复学习别人的写法，直到自己做到。

今天继续通过celery实现分布式爬虫爬取https://book.douban.com/tag/?view=type&icn=index-sorttags-all

简单回忆下上篇博客涉及celery相关的知识点，celery官方定义为分布式任务队列，核心就是通过队列来实现跨线程或者跨终端进行作业分发。

队列的输入是一个作业单元，被称为task，我们只需要在定义好的函数上方，增加@app.task 装饰一下即可，查阅手册可以查看其它参数内容。

定义好task之后，执行worker 监控这个队列，有新作业即执行。

Python代码走起

接下来就是正式编码部分了，我们先补充一些基本知识

celery task 任务调用有三个API：

  1. 直接给任务发送消息
了解本专栏 订阅专栏 解锁全文
梦想橡皮擦
关注
专栏目录
订阅专栏
Python爬虫入门教程 75-100 celery分布式爬虫抓取豆瓣那些书
梦想橡皮擦，专栏100例写作模式先行者，现象级专栏 《Python 爬虫 100 例》作者、《滚雪球学 Python 专栏》原创者
08-07 1万+
celery做为分布式队列服务模块，在Python爬虫领域有应用但是不如scrapy-redis占比高，希望你可以了解一下
Python-本项目在Celery分布式爬虫的基础上构建监控方案Demo
08-12
本项目在 Celery 分布式爬虫的基础上构建监控方案 Demo，在编写 Statsd InfluxDB 方案代码进行调研过程中，转向了 Prometheus 的怀抱 ，使用 Grafana 对监控序列进行可视化，爬虫部分目前只完成对下载和解析进行简单解耦，反爬部分和代码结构优化等后续会陆续进行完善
celery在python爬虫中定时操作实例讲解
01-19
使用定时功能对于我们想要快速获取某个数据来说，是一个非常好的方法。这样我们就不用苦苦守在电脑屏幕前，只为蹲到某个想要的东西。在之前我们已经讲过time函数进行定时操作，这算是time函数的比较基础的一个用法了。其实定时功能同样可以用celery实现，具体的方法我们往下看： 爬虫由于其特殊性，可能需要定时做增量抓取，也可能需要定时做模拟登陆，以防止cookie过期，而celery恰恰就实现了定时任务的功能。在上述基础上，我们将`tasks.py`文件改成如下内容 from celery import Celery app = Celery('add_tasks', broker='redis:
Python-Crawlab基于Celery的爬虫分布式爬虫管理平台支持多种编程语言以及多种爬虫框架
08-10
Crawlab 基于Celery的爬虫分布式爬虫管理平台，支持多种编程语言以及多种爬虫框架.
Celery与爬虫
weixin_42156283的博客
03-25 619
celery是一个分布式异步任务框架，拥有简单，灵活，可靠等特性。 celery可使用redis/rabbitmq作为它的任务队列，专注于实时处理，同时还支持任务调度。 理论上可以利用它来帮助我们实现任何需要异步的地方，比如爬虫中的请求并发 celery库 github源码地址 官方文档地址 celery的实现原理：利用redis/rabbitmq作为它任务队列，结合eventlet/gevent实现的异步，用于异步处理大批量消息。 eventlet：基于事件驱动实现的线程库 gevent：基于事件驱动实现
Python-一个主要使用python3celery和requests来爬取职位数据的爬虫
08-10
本系统是一个主要使用python3, celery和requests来爬取职位数据的爬虫，实现了定时任务，出错重试，日志记录，自动更改Cookies等的功能，并使用ECharts Bootstrap 来构建前端页面，来展示爬取到的数据。
Python爬虫入门教程 72-100 分布式爬虫初步解析-配好环境肝完一半
热门推荐
梦想橡皮擦，专栏100例写作模式先行者，现象级专栏 《Python 爬虫 100 例》作者、《滚雪球学 Python 专栏》原创者
07-01 1万+
Python分布式爬虫基础环境配置，环境配的好，编码没烦恼
Python-xTAS是基于Celery的分布式文本分析套件
08-10
Python-xTAS是一个专为大规模文本分析设计的分布式系统，其核心是利用Celery框架来实现任务调度和分布式计算。Celery是一个强大的异步任务队列，它支持多种消息代理，如RabbitMQ或Redis，用于在分布式环境中协调任务...
python分布式框架celery项目开发_python分布式爬虫中的celery框架如何搭建
weixin_29201313的博客
03-02 164
python分布式爬虫中的celery框架如何搭建发布时间：2020-12-01 09:39:26来源：亿速云阅读：79作者：小新这篇文章主要介绍了python分布式爬虫中的celery框架如何搭建，具有一定借鉴价值，需要的朋友可以参考下。希望大家阅读完这篇文章后大有收获。下面让小编带着大家一起了解一下。celery典型的分布式任务队列，常用于异步操作中，如tornado、Django的异步任务中...
zhihuspider:分布式知乎爬虫，python3，使用celery进行分布式任务分发
04-29
zhihuspider 分布式知乎爬虫，python3，使用celery进行分布式任务分发 使用sqlalchemy做orm框架， db模块为model、以及相关的存储、创建。 使用redis作为cookies的存储，利用过期时间。 使用redis作为celery的broker，backend。 使用redis作为url任务队列。 2017-11－06完成知乎搜索页面的解析， 问题页面答案分为两步进行的前端渲染，为了尽可能模仿人的行为，前三条数据，从返回的js中截取数据，再模拟ajax获取以后的评论。 2017-11-10完成答案的评论, table 定义为reply, 深度抓取对用户答案的评论. init_sql_table.py 创建db下定义的表格。 crawl_answer.py 抓取ZhihuData下 comment_crawled为0的问题答案 crawl_reply.py
python celery分布式任务队列的使用详解
09-19
主要介绍了python celery分布式任务队列的使用详解，Celery 是一个 基于python开发的分布式异步消息任务队列，通过它可以轻松的实现任务的异步处理， 如果你的业务场景中需要用到异步任务，就可以考虑使用celery,需要的朋友可以参考下
python asyncio和celery_Python爬虫之使用celery加速爬虫
weixin_39835117的博客
12-05 179
celery是一个基于分布式消息传输的异步任务队列，它专注于实时处理，同时也支持任务调度。关于celery的更多介绍及例子，笔者可以参考文章Python之celery的简介与使用。本文将介绍如何使用celery来加速爬虫。本文爬虫的例子来自文章：Python爬虫的N种姿势。这里不再过多介绍，我们的项目结构如下：其中，app_test.py为主程序，其代码如下：from celery import ...
celery 可视化_Celery部署爬虫(三)
weixin_39724362的博客
12-19 176
今天就来点比较有意思的东西面前两篇充其量就是 Celery 的入门级，接下来就深入编写 Celery 框架，让 Celery 更 加健壮。首先是定时任务，上文的编写的定时任务是在 config 文件里进行配置的，其实在Celery中提供了一系列的装饰器，比如前面说的 @app.task 等等，来看看如何使用装饰器来实现 app 实例中的定时任务# 定时任务在文件中的写法# -*- coding:u...
celery 爬虫使用
老鹰的博客
04-02 770
简介 celery是一个基于分布式消息传输的异步任务队列，它专注于实时处理，同时也支持任务调度。 它由三部分组成，消息中间件，任务执行单元和任务执行结果存储组成。 官网 ：http://www.celeryproject.org/ 下载：pip install celery 消息中间件：Celery本身不提供消息服务，但是可以方便的和第三方提供的消息中间件集成。包括，RabbitMQ, Redis等等。 任务执行单元：Worker是Celery提供的任务执行的单...
分布式爬虫之celery
frank_07的博客
12-29 5544
以爬douban小说为例 首先启动Redis，新建文件crawl_douban.py import requests from bs4 import BeautifulSoup import time from celery import Celery import redis from configparser import ConfigParser cp=ConfigParser()...
Python爬虫之使用celery加速爬虫
libaiup的博客
05-23 673
Python所有方向的技术点做的整理，形成各个领域的知识点汇总，它的用处就在于，你可以按照上面的知识点去找对应的学习资源，保证自己学得较为全面。（全套教程文末领取哈）
关于 Celery 的爬虫用法（京东爬虫）
YxinMiracle's Studio.
04-25 1476
文章目录前言简单任务讲解改进在celery里面执行的代码获取celery执行任务的结果代码：回顾总结京东爬虫 前言 ​ 为什么会写这篇文章呢？因为最近在爬取京东的时候，很深刻的体会到了celery的实用之处，我们就拿爬取京东的实战代码，来讲解一个celery在爬虫的过程中的一些用法。 ​ 我们来情景引入一下，京东中有一些商品是非常多评论的，而我们在爬取评论的时候，难道们的程序就需要白白浪费在爬取评...
爬虫系列20.Celery - 分布式任务队列
runnoob_1115的博客
11-15 882
celery(芹菜)是一个异步任务队列/基于分布式消息传递的作业队列。它侧重于实时操作，但对调度支持也很好。 celery用于生产系统每天处理数以百万计的任务。 celery是用Python编写的，但该协议可以在任何语言实现。它也可以与其他语言通过webhooks实现。 建议的消息代理RabbitMQ的，但提供有限支持Redis, Beanstalk, MongoDB, CouchDB, ，和数据库
请你用Python编写一个分布式爬虫系统，任务队列要使用celery。
最新发布
09-14
构建一个分布式爬虫系统并使用Celery作为任务队列管理器通常涉及以下几个步骤： 1. 安装依赖： 首先确保已经安装了Python、Celery、Django（如果用于web应用）以及相关的网络爬虫库如`requests`或`beautifulsoup4`。 ```bash pip install django celery requests ``` 2. 创建项目和应用： 如果使用Django框架，创建一个新的Django项目和应用。 ```bash django-admin startproject distributed_crawler cd distributed_crawler python manage.py startapp spider_app ``` 3. 设置Celery配置： 在`distributed_crawler/settings.py`文件中添加Celery配置，包括设置broker（消息队列）和结果存储： ```python CELERY_BROKER_URL = 'redis://localhost:6379/0' CELERY_RESULT_BACKEND = 'redis://localhost:6379/0' ``` 4. 创建Celery任务： 在`spider_app/tasks.py`文件中定义爬取任务，使用`@app.task`装饰器标记为 Celery 任务： ```python from .models import CrawlTask from scrapy.crawler import CrawlerProcess @app.task def crawl_task(task_id): task = CrawlTask.objects.get(id=task_id) # 使用Scrapy或其他爬虫库进行实际抓取 process = CrawlerProcess({ 'USER_AGENT': 'Mozilla/5.0', # ... 其他Scrapy配置项 }) process.crawl(task.spider_name) process.start() task.status = 'completed' # 更新任务状态 task.save() ``` 5. 模型定义： 在`spider_app/models.py`中定义任务模型： ```python from django.db import models class CrawlTask(models.Model): name = models.CharField(max_length=200) url = models.URLField() status = models.CharField(max_length=20, choices=[('pending', 'Pending'), ('running', 'Running'), ('completed', 'Completed')]) def __str__(self): return f"{self.name} - {self.url}" ``` 6. 提交任务到队列： 在`spider_app/views.py`中，你可以提供一个API来接收新的爬取请求，并将其提交到Celery任务队列： ```python from django.http import JsonResponse from rest_framework import serializers from .tasks import crawl_task class CrawlTaskSerializer(serializers.ModelSerializer): class Meta: model = CrawlTask fields = ['name', 'url'] # 添加一个视图函数 def create_crawl_task(request): serializer = CrawlTaskSerializer(data=request.data) if serializer.is_valid(): task = serializer.save() crawl_task.apply_async(args=[task.id], queue='high_priority') # 使用特定队列 return JsonResponse(serializer.data, status=201) else: return JsonResponse(serializer.errors, status=400) ``` 7. 启动Celery worker： 在命令行启动Celery worker： ```bash celery -A distributed_crawler worker --loglevel=info ``` 现在，你有一个基本的分布式爬虫系统，新任务会被添加到Celery队列中，等待被worker处理。`crawl_task`会被异步执行，使得多个任务能够并发运行。
评论 43
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

梦想橡皮擦

如有帮助，来瓶可乐

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值