Python
文章平均质量分 54
云中的鱼
微信公众号:二鱼先生,职场升级,个人成长,情绪管理多元方法分享
展开
-
使用py-spy解决scrapy卡死的问题
背景在使用scrapy爬取东西的时候,使用crontab定时的启动爬虫,但是发现机器上经常产生很多卡死的scrapy进程,一段时间不管的话,会导致有10几个进程都卡死在那,并且会导致数据产出延迟。问题定位使用py-spy这个非常好用的python性能分析工具来进行排查,py-spy可以查看一个python进程函数调用用时,类似unix下的top命令。所以我们用这个工具看看是什么函数一直在执行。首先安装这个工具pip install py-spy用py-spy看看scrapy哪个函数执行时间长原创 2020-07-30 16:11:39 · 1845 阅读 · 1 评论 -
Python3使用mysql.connector操作mysql数据库
下载mysql.connector:到http://dev.mysql.com/downloads/connector/python/下载并安装原创 2014-11-04 21:08:56 · 2918 阅读 · 0 评论 -
Python Logging模块-Logger,Handler,Formatter
#原创 2016-04-25 21:30:09 · 3347 阅读 · 0 评论 -
Python Logging模块-介绍与使用
概述Logging模块是python自带的日志模块,提供了强大的API和配置系统,用于在项目中打印各级别的日志。日志级别Logging模块提供了5种日志的级别,如下表所示: 级别 说明 DEBUG 详细的信息,在进行诊断问题时使用 INFO 正常运行的信息 WARNING 警示发生了一些意外的情况,或者警示将会出现问题,比如磁盘空间不足。程序仍正常运行。 ERR原创 2016-04-25 17:21:48 · 703 阅读 · 0 评论 -
Python Logging模块-配置文件说明
首先直接来看一个配置文件[loggers]keys=root,simpleExample[handlers]keys=consoleHandler,fileHandler[formatters]keys=simpleFormatter[logger_root]level=DEBUGhandlers=fileHandler[logger_simpleExample]原创 2016-04-26 16:02:40 · 2734 阅读 · 1 评论 -
【转】分布式异步任务队列 Celery + rabbitmq (or redis )
最近的项目要使用异步的任务队列,初步选用了Celery,比较轻量级,但是对Task,Broker,Worker等概念有些理解的不透彻,找到以下文章,甚是透彻。 当我们需要处理一些比较耗时的任务时,我们就需要考虑启用“异步”这个概念。 比如以下两种情况:一,频繁读写 比如说,现在你一条“微博”,如果是使用 push 的机制,那则需要将这条“微博”告知所有关注你的人。 (这里是假设。实际的微博是转载 2016-03-29 10:53:23 · 2977 阅读 · 0 评论