windows下ConcurrentLogHandler因锁机制导致的卡死问题

最新推荐文章于 2023-04-18 16:48:42 发布
最新推荐文章于 2023-04-18 16:48:42 发布
阅读量635 收藏 1
点赞数
分类专栏： 爬虫 文章标签： python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Laozizuiku/article/details/110875461
版权

用concurrent-log-handler替换ConcurrentLogHandler可解决windows因锁机制导致的卡死问题。

即pip install ConcurrentLogHandler 改为pip install concurrent-log-handler.

大写的好用~
感谢老哥的分享
作者：PyKailyn
链接：https://www.jianshu.com/p/def0a24974e4
 

Laozizuiku
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
解决 Django 多进程下，logging 记录日志错乱问题
2401_84009300的博客
04-23 627
原因清楚了，那么，有什么解决办法呢？两个方案：这个包通过加锁的方式实现了多进程安全，并且可以在日志文件达到特定大小时，分割文件，但是不支持按时间分割。包的源码我并没有仔细研究，也就没办法再细说了，大家如果感兴趣的话可以自己找来看。由于我的需求是按时间进行分割，显然就不能用了，自己写吧。通过上面的分析可以知道，出问题的点就是发生在日志分割时，一是删文件，二是没有及时更新写入句柄。所以针对这两点，我的对策就是：一是去掉删文件的逻辑，二是在切割文件时，及时将写入句柄更新到最新。代码如下：import osimpo
python 多进程 logging：ConcurrentLogHandler
恒
05-04 1万+
python 多进程 logging：ConcurrentLogHandlerpython的logging模块RotatingFileHandler仅仅是线程安全的，如果多进程多线程使用，推荐 ConcurrentLogHandler. 安装之：# Using ConcurrentLogHandler:# wget https://pypi.python.org/packages/fd/e5/0d
ConcurrentLogHandler 在Windows下的问题解决
CodeNote
05-11 4759
ConcurrentLogHandler 在Windows下的问题解决 问题描述 Python中的logging模块自带的一些handlers无法在多进程环境下使用，于是下载了Lowell Alleman's ConcurrentLogHandler的这个package。windows下安装时可能还需要安装pypiwin32（pywin32不能用pip直接安装，而且pyenv下安装比较麻烦...
解决安装ConcurrentLogHandler报错error in ConcurrentLogHandler setup command: use_2to3 is invalid.
BetterBench的博客
04-11 1867
python3.7 使用以下命令安装时报错:error in ConcurrentLogHandler setup command: use_2to3 is invalid.setuptools 工具包在58版本之后，废弃了use_2to3 方法。 卸载过高版本的setuptools。重新安装低版本的使用如下命令安装setuptools工具：
python 多进程 logging：ConcurrentLogHandler 配置
python小菜鸡的博客
06-15 1631
python的logging模块RotatingFileHandler仅仅是线程安全的，如果多进程多线程使用，推荐 ConcurrentLogHandler. 安装之： # Using ConcurrentLogHandler: # wget https://pypi.python.org/packages/fd/e5/0dc4f256bcc6484d454006b02f33263b20f762a433741b29d53875e0d763/ConcurrentLogHandler-0.9.1.tar.
python pip 安装报错 error in setup command: use_2to3 is invalid. 解决方法
WorldMvp的专栏
06-20 7529
python pip 安装报错 error in setup command: use_2to3 is invalid. 解决方法
python 多进程安全日志库 ConcurrentLogHandler 简介
whatday的专栏
04-02 2644
参考文档：https://pypi.org/project/ConcurrentLogHandler/ 这个类库是通过文件锁实现写日志进程安全的，但是只能通过文件大小控制切割，不能通过时间分割文件。 实例： def init_log(): logfile = "/data1/restful_log/restful_api_thread.log" filesize = 800*1024*1024 log = getLogger() rotate_handler = Co
PyPI 官网下载 | ConcurrentLogHandler-0.8.7.tar.gz
01-10
`ConcurrentLogHandler`通过使用锁和其他同步机制解决了这个问题，确保了在多线程或多进程环境下的日志记录正确无误。 这个库的核心功能包括： 1. **线程安全**：`ConcurrentLogHandler`实现了线程安全的接口，...
Python库 | ConcurrentLogHandler-0.8.2-py2.5.egg
03-25
资源分类：Python库 所属语言：Python 使用前提：需要解压 资源全名：ConcurrentLogHandler-0.8.2-py2.5.egg 资源来源：官方 安装方法：https://lanzao.blog.csdn.net/article/details/101784059
mpfhandler:多个进程定时旋转日志文件处理程序（base logging.RotatingFileHandler，ConcurrentLogHandler）
05-11
概述 该模块为Python的标准日志记录程序包（PEP 282）提供了一个额外的日志处理程序。 该处理程序会将日志事件写入日志文件，该日志文件在特定时间（天，小时，分钟）轮换并支持多个进程。 这个模块提供了一个Python...
Python库 | concurrent_log_handler-0.9.4-py2.py3-none-any.whl
04-21
资源分类：Python库 所属语言：Python 使用前提：需要解压 资源全名：concurrent_log_handler-0.9.4-py2.py3-none-any.whl 资源来源：官方 安装方法：https://lanzao.blog.csdn.net/article/details/101784059
python-Logging之进程安全的ConcurrentLogHandler
More and Better
11-29 1万+
python logging ConcurrentLogHandler 进程安全
Django日志模块logging进程报错
chenzhilon16888的博客
12-30 1563
项目场景： Django使用logging模块里的时间分割和文件大小分割记录日志 问题描述： RotatingFileHandler和TimedRotatingFileHandler在生成新的文件时，会抛出 PermissionError 异常(其它分割文件的也同样会出现) Watching for file changes with StatReloader [INFO][2021-12-30 21:43:35,642] Watching for file changes with S...
python 双日志,子进程事件日志按时间轮转,多进程错误日志按大小轮转
weixin_42567970的博客
04-18 476
日志文件保存在当前路径下log文件夹下当前进程名字的子文件夹中，事件日志InfoLog，采用时间轮转模式，每天一个日志文件，日志文件最大保留10天，日志名字为当前进程名字+年月日，txt后缀，记录DEBUG以上级别的日志。错误日志ErrLog，采用大小轮转模式，最大容量为32MB，最多保留5个，日志名字为ErrLog，txt后缀，记录WARNING以上级别的日志。
使用ConcurrentLogHandler解决多进程日志问题时，提示 KeyError: ‘formatters‘
u014381132的博客
12-07 7094
使用python做项目的同学都知道，在项目中，多线程情景下写日志，使用logging模块是不好的，因为它不是线程安全的。幸运的是有大牛在logging的基础上加强了一下，就是这个ConcurrentLogHandler模块，目前更新到0.9.1版本。 初次使用时，根据https://pypi.org/project/ConcurrentLogHandler/0.9.1/ 里提供的案例，迅速写了一个...
python:多进程日志轮转ConcurrentLogHandler
qq_41864652的博客
07-31 1万+
记录日志是我们程序中必不可少的一个功能，但是日志文件如果没有合理的管理，时间长了几百兆的日志文件就很难分析了（都不想打开看），但是又不可能经常手动去管理它 日志轮转：根据时间或者文件大小控制日志的文件个数，不用我们手动管理 python中logging模块内置的有几个支持日志轮转的handler 常用的有TimedRotatingFileHandler根据时间轮转RotatingFil...
解决BUG：error: metadata-generation-failed
热门推荐
吉米_王
01-10 4万+
在执行批量安装命令pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple之前，先执行pip install setuptools==57.5.0 -i https://pypi.tuna.tsinghua.edu.cn/simple 命令。
python ConcurrentLogHandler
kevin_darkelf的专栏
07-09 798
git: https://github.com/Preston-Landers/concurrent-log-handler
Collecting ConcurrentLogHandler==0.9.1 Using cached ConcurrentLogHandler-0.9.1.tar.gz (25 kB) Preparing metadata (setup.py): started Preparing metadata (setup.py): finished with status 'error' ERROR: Command errored out with exit status 1: command: 'D:\personal_center_p3\Scripts\python.exe' -c 'import io, os, sys, setuptools, tokenize; sys.argv[0] = '"'"'C:\\Users\\V_YXYU~1\\AppData\\Local\\Temp\\pip-install-4qgsez5s\\concurrentloghandler_f371d83918a641ad82c3472b90ec9acc\\setup.py'"'"'; __file__='"'"'C:\\Users\\V_YXYU~1\\AppData\\Local\\Temp\\pip-install-4qgsez5s\\concurrentloghandler_f371d83918a641ad82c3472b90ec9acc\\setup.py'"'"';f = getattr(tokenize, '"'"'open'"'"', open)(__file__) if os.path.exists(__file__) else io.StringIO('"'"'from setuptools import setup; setup()'"'"');code = f.read().replace('"'"'\r\n'"'"', '"'"'\n'"'"');f.close();exec(compile(code, __file__, '"'"'exec'"'"'))' egg_info --egg-base 'C:\Users\V_YXYU~1\AppData\Local\Temp\pip-pip-egg-info-ofm5zj3l' cwd: C:\Users\V_YXYU~1\AppData\Local\Temp\pip-install-4qgsez5s\concurrentloghandler_f371d83918a641ad82c3472b90ec9acc\ Complete output (1 lines): error in ConcurrentLogHandler setup command: use_2to3 is invalid. ---------------------------------------- WARNING: Discarding https://files.pythonhosted.org/packages/fd/e5/0dc4f256bcc6484d454006b02f33263b20f762a433741b29d53875e0d763/ConcurrentLogHandler-0.9.1.tar.gz#sha256=8225a590fd4194c413fa26675bde5f6b80ad79e4182d5876ba3e264f77755918 (from https://pypi.org/simple/concurrentloghandler/). Command errored out with exit status 1: python setup.py egg_info Check the logs for full command output. ERROR: Could not find a version that satisfies the requirement ConcurrentLogHandler==0.9.1 (from versions: 0.7.2, 0.7.3, 0.7.4, 0.8.0, 0.8.1, 0.8.2, 0.8.3, 0.8.4, 0.8.5, 0.8.6, 0.8.7, 0.9.0, 0.9.1) ERROR: No matching distribution found for ConcurrentLogHandler==0.9.1
最新发布
07-25
解决这个问题的一种方法是尝试安装较旧版本的 ConcurrentLogHandler。根据日志，较新的版本中没有0.9.1版本，但有其他可用的版本（0.7.2, 0.7.3, 0.7.4, 0.8.0, 0.8.1, 0.8.2, 0.8.3, 0.8.4, 0.8.5, 0.8.6, 0.8.7, ...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值