Python 学习
python
无知飞
这个作者很懒,什么都没留下…
展开
-
django中使用celery做异步任务、定时任务
一、celery架构图生产者消费者模型调度方法二、配置使用celery很容易集成到Django框架中,当然如果想要实现定时任务的话还需要安装django-celery-beta插件,后面会说明。需要注意的是Celery4.0只支持Django版本>=1.8的,如果是小于1.8版本需要使用Celery3.1。配置创建新项目tasktest,目录结构(每个app下多个tasks文件,用于定义任务)tasktest├── app01│ ├── __init__.py│原创 2021-07-20 11:28:46 · 414 阅读 · 3 评论 -
python生成requirements.txt的两种方法
python生成requirements.txt的两种方法第一种 适用于 单虚拟环境 会将环境中的依赖包全都加入,如果使用的全局环境,则下载的所有包都会在里面,不管是不是当前项目依赖的pip freeze > requirements.txt第二种 适用于 全局环境 。(推荐) 使用 pipreqs ,github地址为: https://github.com/bndr/pipreqs# 安装pip install pipreqs# 在当前目录生成pip原创 2021-07-07 14:58:59 · 183 阅读 · 0 评论 -
websocket+kafka+channels 解决服务器实时向前端推送日志问题
需求描述:需要从kafka里读取日志实时给前端推送,做一个实时查看日志详情的功能原解决方案:刚开始想的解决方案是celery异步从kafka里读取数据写到文件中,前端页面使用定时器给每隔一秒就访问一次服务器获取这个文件里的数据存在问题:日志数据过多且一直刷新,写到文件里 服务器 内存、CPU 占用多大。前端定时器每一秒访问后端接口,导致后端服务器访问量过多,服务器有时响应不过来,太占用资源。解决方案:使用 channels+celery+websocket+kafka 解决问题channel原创 2021-07-07 14:56:57 · 942 阅读 · 0 评论 -
urllib 解决中文解码问题
遇到问题:从kafka里读出来数据当中有中文的话解码出不来我们想要的结果。解决方法:使用python的urllib解决方案:# 从kafka里读出来得数据格式为keyword = b'{"@timestamp":"2021-06-22T06:29:26.241Z","@metadata":{"beat":"filebeat","type":"doc","version":"6.7.1","topic":"sdk"},"message":"{\\"timestamp\\":\\"1624343365.原创 2021-07-07 14:53:43 · 335 阅读 · 0 评论