python 异步函数添加装饰器

异步函数添加装饰器

对一个爬虫的异步函数,在其功能函数上添加装饰器,用于打印错误日志


import aiohttp
import asyncio

import run_change	# 这是一个防止 asyncio.run()有时会报错 RuntimeError:Event loop is closed 的模块,需要手动编写,下面一个代码块有提供


def wrapper1(func):
    async def wrapper(*args, err, **kwargs):
        result = await asyncio.create_task(func(*args, **kwargs))	# 执行传入的函数
        # print(result)
        if not result:
            print(err)
        return result

    return wrapper


@wrapper1
async def get_message(session):
    # print('开始访问')
    async with session.get('https://www.baidu.com') as response:
        # print('访问结束')
        return await response.text()


async def run():
    async with aiohttp.ClientSession() as session:
        return await asyncio.create_task(get_message(session, err='not'))	# 将功能函数加入任务列表


if __name__ == '__main__':
    s = asyncio.run(run())
# run_change.py

"""
【解决 asyncio.run()有时会报错 RuntimeError:Event loop is closed 情况】

当asyncio.run()被修改为:
    loop = asyncio.get_event_loop()
    loop.run_until_complete(main())
    确实不会报错

大佬总结, 总而言之是asyncio.run()会自动关闭循环,并且调用_ProactorBasePipeTransport.__del__报错, 而asyncio.run_until_complete()不会.

大佬提供了解决方案, 就是重写方法以保证run()的运行.

【导入此包即可解决问题,如若还不能请使用上面的方式】
"""
from functools import wraps
from asyncio.proactor_events import _ProactorBasePipeTransport


def silence_event_loop_closed(func):
    @wraps(func)
    def wrapper(self, *args, **kwargs):
        try:
            return func(self, *args, **kwargs)
        except RuntimeError as e:
            if str(e) != 'Event loop is closed':
                raise

    return wrapper


_ProactorBasePipeTransport.__del__ = silence_event_loop_closed(_ProactorBasePipeTransport.__del__)

  • 0
    点赞
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Python 3.6.8中使用Celery实现异步函数,您需要按照以下步骤进行设置: 1. 首先,确保已经安装了Celery和Redis(或其他消息代理)。 ``` pip install celery redis ``` 2. 创建一个Django项目,并在项目目录下创建一个名为`tasks.py`的文件。 3. 在`tasks.py`文件中,导入Celery并创建一个Celery实例。 ```python from celery import Celery app = Celery('your_project_name') ``` 4. 在Django项目的settings.py文件中添加Celery配置。 ```python CELERY_BROKER_URL = 'redis://localhost:6379' CELERY_RESULT_BACKEND = 'redis://localhost:6379' ``` 这里使用了Redis作为消息代理和结果后端,您可以根据需要选择其他选项。 5. 在`tasks.py`文件中定义您的异步任务。 ```python @app.task def your_async_task(*args, **kwargs): # 执行异步任务的代码逻辑 pass ``` 6. 在您的异步类方法中使用`@app.task`装饰器。 ```python class YourAsyncClass: @app.task def async_method(self, *args, **kwargs): # 异步方法的代码逻辑 pass ``` 7. 在您的应用程序中,通过调用`your_async_task.delay()`或`YourAsyncClass().async_method.delay()`来调度异步任务。 ```python from your_project_name.tasks import your_async_task from your_app_name.your_module import YourAsyncClass # 调度异步任务 your_async_task.delay(*args, **kwargs) # 调度异步类方法 YourAsyncClass().async_method.delay(*args, **kwargs) ``` 8. 启动Celery工作进程。在终端中,导航到您的项目目录并运行以下命令: ``` celery -A your_project_name worker --loglevel=info ``` 这将启动一个Celery工作进程,准备接收和执行异步任务。 现在,当您调度异步任务时,它将在后台执行,而不会阻塞主线程。请确保您的Celery工作进程正在运行,并根据需要进行其他配置和调整。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值