Python-logging详解（彩色日志扩展，多进程安全等）_python的logging

程序员呼呼

于 2024-05-17 05:16:58 发布

阅读量679

点赞数 13

分类专栏： 2024年程序员学习文章标签：网络安全 web安全面试

本文链接：https://blog.csdn.net/I8929545452_VD/article/details/138987080

版权

2024年程序员学习专栏收录该内容

330 篇文章 0 订阅

订阅专栏

本人从事网路安全工作12年，曾在2个大厂工作过，安全服务、售后服务、售前、攻防比赛、安全讲师、销售经理等职位都做过，对这个行业了解比较全面。

最近遍览了各种网络安全类的文章，内容参差不齐，其中不伐有大佬倾力教学，也有各种不良机构浑水摸鱼，在收到几条私信，发现大家对一套完整的系统的网络安全从学习路线到学习资料，甚至是工具有着不小的需求。

最后，我将这部分内容融会贯通成了一套282G的网络安全资料包，所有类目条理清晰，知识点层层递进，需要的小伙伴可以点击下方小卡片领取哦！下面就开始进入正题，如何从一个萌新一步一步进入网络安全行业。

需要体系化学习资料的朋友，可以加我V获取：vip204888 （备注网络安全）

学习路线图

其中最为瞩目也是最为基础的就是网络安全学习路线图，这里我给大家分享一份打磨了3个月，已经更新到4.0版本的网络安全学习路线图。

相比起繁琐的文字，还是生动的视频教程更加适合零基础的同学们学习，这里也是整理了一份与上述学习路线一一对应的网络安全视频教程。

网络安全工具箱

当然，当你入门之后，仅仅是视频教程已经不能满足你的需求了，你肯定需要学习各种工具的使用以及大量的实战项目，这里也分享一份我自己整理的网络安全入门工具以及使用教程和实战。

项目实战

最后就是项目实战，这里带来的是SRC资料&HW资料，毕竟实战是检验真理的唯一标准嘛~

面试题

归根结底，我们的最终目的都是为了就业，所以这份结合了多位朋友的亲身经验打磨的面试题合集你绝对不能错过！

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化资料的朋友，可以点击这里获取

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！

将指定的处理器 hdlr 添加到此记录器。

addFilter(filter)

将指定的过滤器 filter 添加到此记录器。

debug(msg, *args, **kwargs)

在此记录器上记录 DEBUG 级别的消息。

info(msg, *args, **kwargs)

在此记录器上记录 INFO 级别的消息。

warning(msg, *args, **kwargs)

在此记录器上记录 WARNING 级别的消息。

error(msg, *args, **kwargs)

在此记录器上记录 ERROR 级别的消息。

critical(msg, *args, **kwargs)

在此记录器上记录 CRITICAL 级别的消息。

log(level, msg, *args, **kwargs)

在此记录器上记录 level 整数代表的级别的消息。

处理器

StreamHandler

它可将日志记录输出发送到数据流例如 sys.stdout, sys.stderr 或任何文件类对象（或者更精确地说，任何支持 write() 和 flush() 方法的对象）。

FileHandler

它可将日志记录输出到磁盘文件中。

格式器

Formatter(fmt=None, datefmt=None, style=‘%’, validate=True, *, defaults=None)

属性名称	格式	描述
args	此属性不需要用户进行格式化。	合并到 `msg` 以产生 `message` 的包含参数的元组，或是其中的值将被用于合并的字典（当只有一个参数且其类型为字典时）。
asctime	`%(asctime)s`	被创建的供人查看时间值。默认形式为 ‘2003-07-08 16:49:45,896’ （逗号之后的数字为时间的毫秒部分）。
created	`%(created)f`	被创建的时间。
exc_info	此属性不需要用户进行格式化。	异常元组（例如 `sys.exc_info`）或者如未发生异常则为 `None`。
filename	`%(filename)s`	`pathname` 的文件名部分。
funcName	`%(funcName)s`	函数名包括调用日志记录.
levelname	`%(levelname)s`	消息文本记录级别（`'DEBUG'`，`'INFO'`，`'WARNING'`，`'ERROR'`，`'CRITICAL'`）。
levelno	`%(levelno)s`	消息数字的记录级别 (`DEBUG`, `INFO`, `WARNING`, `ERROR`, `CRITICAL`).
lineno	`%(lineno)d`	发出日志记录调用所在的源行号（如果可用）。
message	`%(message)s`	记入日志的消息，即 `msg % args` 的结果。
module – 模块	`%(module)s`	模块 (`filename` 的名称部分)。
msecs	`%(msecs)d`	被创建的时间的毫秒部分。
msg	此属性不需要用户进行格式化。	在原始日志记录调用中传入的格式字符串。与 `args` 合并以产生 `message`，或是一个任意对象。
name	`%(name)s`	用于记录调用的日志记录器名称。
pathname	`%(pathname)s`	发出日志记录调用的源文件的完整路径名（如果可用）。
process	`%(process)d`	进程ID（如果可用）
processName	`%(processName)s`	进程名（如果可用）
relativeCreated	`%(relativeCreated)d`	以毫秒数表示的 LogRecord 被创建的时间，即相对于 logging 模块被加载时间的差值。
stack_info	此属性不需要用户进行格式化。	当前线程中从堆栈底部起向上直到包括日志记录调用并引发创建当前记录堆栈帧创建的堆栈帧信息（如果可用）。
thread	`%(thread)d`	线程ID（如果可用）
threadName	`%(threadName)s`	线程名（如果可用）

一般常用的就是时间，级别，内容，可以在团队内自行规定msg的格式作为补充。

多线程与多进程安全

logging是多线程安全的，所以添加多进程安全即可

代码

"""
-*- coding:utf-8 -*-
@File: log.py
@Author:frank yu
@DateTime: 2021.10.12 20:56
@Contact: frankyu112058@gmail.com
@Description:
"""
import logging
import os
import random
import sys
import multiprocessing
import time
from shutil import copyfile
from colorlog import ColoredFormatter

# log directory
LOG_DIR = "./logs"
# level fot stdout
STD_LEVEL = logging.WARN
# level for file
FILE_LEVEL = logging.DEBUG

CRITICAL = 50
FATAL = CRITICAL
ERROR = 40
WARNING = 30
WARN = WARNING
INFO = 20
DEBUG = 10
NOTSET = 0


class Log:
    def __init__(self, log_dir=LOG_DIR):
        """
        function:init create log file, judge if log file is too bigger
        :param log_dir: directory of logs
        """
        log_path = log_dir + "/log"
        if not os.path.exists(log_dir):
            os.mkdir(log_dir)
            os.chmod(log_dir, 0o777)
        if not os.path.exists(log_path):
            f = open(log_path, mode='w', encoding='utf-8')
            f.close()
            os.chmod(log_path, 0o777)
        # if log file is more than 1MB, copy to a file and clear log file
        if os.path.getsize(log_path) / 1048576 > 1:
            # print(os.path.getsize(log_path))
            copyfile(log_path, log_dir + "/log" + str(time.time()).replace(".", ""))
            with open(log_path, 'w') as f:
                f.truncate()
                f.close()
        self.logger_format = logging.Formatter('%(asctime)s - %(levelname)s: %(message)s')
        self.c_logger_format = ColoredFormatter(fmt='%(log_color)s%(asctime)s'
                                                    ' - %(log_color)s%(levelname)s: %(log_color)s%(message)s',
                                                reset=True,
                                                secondary_log_colors={},
                                                style='%'
                                                )
        self.logger = logging.getLogger(str(random.random()))
        self.logger.handlers.clear()
        self.logger.setLevel(logging.DEBUG)

        self.filehandler = logging.FileHandler(log_path, mode='a')
        self.filehandler.setLevel(FILE_LEVEL)
        self.filehandler.setFormatter(self.logger_format)

        self.stdouthandler = logging.StreamHandler(sys.stdout)
        self.stdouthandler.setLevel(STD_LEVEL)
        self.stdouthandler.setFormatter(self.c_logger_format)

        self.logger.addHandler(self.stdouthandler)
        self.logger.addHandler(self.filehandler)

        self.__lock = multiprocessing.Lock()

    def __log(self, msg=None, level=logging.INFO):
        if level == logging.DEBUG:
            self.logger.debug(msg)
        elif level == logging.INFO:
            self.logger.info(msg)
        elif level == logging.WARNING:
            self.logger.warning(msg)
        elif level == logging.ERROR:
            self.logger.error(msg)
        elif level == logging.CRITICAL:
            self.logger.critical(msg)

    def log_show_store(self, msg, level):
        """
        function: show logs on screen and store logs into log file
        :param msg:message of log
        :param level:level of log
        return: None
        """
        self.__lock.acquire()
        self.logger.addHandler(self.stdouthandler)
        self.logger.addHandler(self.filehandler)
        self.__log(msg=msg, level=level)
        self.__lock.release()

    def log_show(self, msg, level):
        """
        function:show msg on the screen
        :param msg:message of log
        :param level: level of log
        """
        self.__lock.acquire()
        self.logger.removeHandler(self.filehandler)
        self.logger.addHandler(self.stdouthandler)
        self.__log(msg, level=level)
        self.logger.removeHandler(self.stdouthandler)
        self.logger.addHandler(self.filehandler)
        self.__lock.release()

    def log_store(self, msg, level):
        """
        function:store msg into log file
        :param msg:message of log
        :param level: level of log
        """
        self.__lock.acquire()
        self.logger.removeHandler(self.stdouthandler)
        self.logger.addHandler(self.filehandler)
        self.__log(msg, level=level)
        self.logger.removeHandler(self.filehandler)
        self.logger.addHandler(self.stdouthandler)
        self.__lock.release()

    def log_wrapper(self, *args):
        """
        function: record arg and result of functions
        :param args:
        :return: wrapper
        """
        self.log_store(' '.join(args), FILE_LEVEL)

        def wrapper(func):
            def inner(*args, **kwargs):
                self.log_store(getattr(func, "__name__") + " call " + str(args) + str(kwargs), 10)
                ret = func(*args, **kwargs)
                self.log_store(getattr(func, "__name__") + " return " + str(ret), 10)
                return ret

            return inner

        return wrapper

导入及全局变量

colorlog需要安装一下，可以控制台输出彩色的

multiprocessing用于进程安全，加锁

设置了几个全局变量，方便修改

LOG_DIR是日志保存的目录

STD_LEVEL是控制台输出的级别，只输出WARN及以上的

FILE_LEVEL是保存日志文件的级别，一般调试时使用DEBUG，生产环境时使用INFO

函数

__init__

创建目录和日志文件，如果不存在。若大于1M，复制为当前日期时间的日志文件
设置了控制台和文件的格式器，控制台是彩色的
设置了控制台和文件的处理器

log_show_store

保存到日志文件并打印到控制台

log_show

仅打印到控制台

log_store

仅保存到日志文件

log_wrapper

日志装饰器，用于添加到重要函数上，记录函数调用参数及返回值

实验及结果

"""
-*- coding:utf-8 -*-
@File: main.py
@Author:frank yu
@DateTime: 2021.10.12 20:56
@Contact: frankyu112058@gmail.com
@Description:
"""
from utils.log import Log, DEBUG, WARN, INFO
from concurrent.futures import ThreadPoolExecutor, ProcessPoolExecutor

log = Log()


@log.log_wrapper("wrapper for test")
def test(a, b, c=5):
    log.log_show('main test 1 ' + str(a), level=DEBUG)
    log.log_show('main test 2 ' + str(b), level=WARN)
    log.log_store('main test 3 ' + str(a), level=DEBUG)
    log.log_store('main test 4 ' + str(b), level=WARN)
    log.log_show_store('main test 5 ' + str(a + b), level=INFO)
    return a + b + c


def even(num):
    log.log_store('main even 1 ' + str(num), level=INFO)


def odd(num):
    log.log_store('main odd 1 ' + str(num), level=INFO)


# multi thread test
def multi_thread():
    exe = ThreadPoolExecutor(4)
    for i in range(10):
        if i & 1 == 0:
            exe.submit(even, i)
        else:
            exe.submit(odd, i)


# multi process test
def multi_process():
    exe = ProcessPoolExecutor(4)
    for i in range(10):
        if i & 1 == 0:
            exe.submit(even, i)
        else:
            exe.submit(odd, i)


if __name__ == '__main__':
    test(3, 4, 6)
    multi_thread()
    multi_process()

msg这里传的是 模块函数函数行数消息 ，程序出错方便定位。

test测试了日志级别和日志装饰器

multi_thread测试了多线程

multi_process测试了多进程

结果如下：

测试结果

可以看到控制台仅输出了WARNING级别，当然，如果有更高级别也会输出。

可以看到test函数的调用及参数和返回结果

可以看到多线程和多进程状态下结果没有丢失

更新

用了段时间，彩色的花里胡哨，很少用到，formatter有点少，而且封装后不能定位打印日志的文件，还是直接使用logger吧。

log.py

"""
-*- coding:utf-8 -*-
@File: log.py
@Author:frank yu
@DateTime: 2023.08.17 15:07
@Contact: frankyu112058@gmail.com
@Description:
日志封装
1. 可以多线程、多进程使用
2. 默认只有控制台handler，可以通过set_std、set_file、set_std_file设置，尤其是想保存到文件时
3. 其他地方使用只import log对象即可
"""
import functools
import logging
import os
import random
import sys
import multiprocessing
import time
from shutil import copyfile

# log directory
LOG_DIR = "./logs"
# level for stdout
STD_LEVEL = logging.DEBUG
# level for file
FILE_LEVEL = logging.DEBUG


class Log:
    def __init__(self, log_dir=LOG_DIR):


### 给大家的福利


**零基础入门**


对于从来没有接触过网络安全的同学，我们帮你准备了详细的学习成长路线图。可以说是最科学最系统的学习路线，大家跟着这个大的方向学习准没问题。


![](https://img-blog.csdnimg.cn/img_convert/95608e9062782d28f4f04f821405d99a.png)


同时每个成长路线对应的板块都有配套的视频提供：


![在这里插入图片描述](https://img-blog.csdnimg.cn/direct/a91b9e8100834e9291cfcf1695d8cd42.png#pic_center)

因篇幅有限，仅展示部分资料

**需要体系化学习资料的朋友，可以加我V获取：vip204888 （备注网络安全）**

**网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。**

**[需要这份系统化资料的朋友，可以点击这里获取](https://bbs.csdn.net/topics/618540462)**

**一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！**

程序员呼呼

关注

13
点赞
踩
30

收藏

觉得还不错? 一键收藏
0
评论
Python-logging详解（彩色日志扩展，多进程安全等）_python的logging

本人从事网路安全工作12年，曾在2个大厂工作过，安全服务、售后服务、售前、攻防比赛、安全讲师、销售经理等职位都做过，对这个行业了解比较全面。最近遍览了各种网络安全类的文章，内容参差不齐，其中不伐有大佬倾力教学，也有各种不良机构浑水摸鱼，在收到几条私信，发现大家对一套完整的系统的网络安全从学习路线到学习资料，甚至是工具有着不小的需求。最后，我将这部分内容融会贯通成了一套282G的网络安全资料包，所有类目条理清晰，知识点层层递进，需要的小伙伴可以点击下方小卡片领取哦！
复制链接

扫一扫