Python-logging详解（彩色日志扩展，多进程安全等）_python的logging(1)

2401_84240129

已于 2024-05-08 03:46:27 修改

阅读量1k

点赞数 21

分类专栏：程序员文章标签： python 安全开发语言

于 2024-05-08 03:46:26 首次发布

本文链接：https://blog.csdn.net/2401_84240129/article/details/138553574

版权

程序员专栏收录该内容

218 篇文章 2 订阅

订阅专栏

如何自学黑客&网络安全

黑客零基础入门学习路线&规划

初级黑客
1、网络安全理论知识（2天）
①了解行业相关背景，前景，确定发展方向。
②学习网络安全相关法律法规。
③网络安全运营的概念。
④等保简介、等保规定、流程和规范。（非常重要）

2、渗透测试基础（一周）
①渗透测试的流程、分类、标准
②信息收集技术：主动/被动信息搜集、Nmap工具、Google Hacking
③漏洞扫描、漏洞利用、原理，利用方法、工具（MSF）、绕过IDS和反病毒侦察
④主机攻防演练：MS17-010、MS08-067、MS10-046、MS12-20等

3、操作系统基础（一周）
①Windows系统常见功能和命令
②Kali Linux系统常见功能和命令
③操作系统安全（系统入侵排查/系统加固基础）

4、计算机网络基础（一周）
①计算机网络基础、协议和架构
②网络通信原理、OSI模型、数据转发流程
③常见协议解析（HTTP、TCP/IP、ARP等）
④网络攻击技术与网络安全防御技术
⑤Web漏洞原理与防御：主动/被动攻击、DDOS攻击、CVE漏洞复现

5、数据库基础操作（2天）
①数据库基础
②SQL语言基础
③数据库安全加固

6、Web渗透（1周）
①HTML、CSS和JavaScript简介
②OWASP Top10
③Web漏洞扫描工具
④Web渗透工具：Nmap、BurpSuite、SQLMap、其他（菜刀、漏扫等）
恭喜你，如果学到这里，你基本可以从事一份网络安全相关的工作，比如渗透测试、Web 渗透、安全服务、安全分析等岗位；如果等保模块学的好，还可以从事等保工程师。薪资区间6k-15k

到此为止，大概1个月的时间。你已经成为了一名“脚本小子”。那么你还想往下探索吗？

如果你想要入坑黑客&网络安全，笔者给大家准备了一份：282G全网最全的网络安全资料包评论区留言即可领取！

7、脚本编程（初级/中级/高级）
在网络安全领域。是否具备编程能力是“脚本小子”和真正黑客的本质区别。在实际的渗透测试过程中，面对复杂多变的网络环境，当常用工具不能满足实际需求的时候，往往需要对现有工具进行扩展，或者编写符合我们要求的工具、自动化脚本，这个时候就需要具备一定的编程能力。在分秒必争的CTF竞赛中，想要高效地使用自制的脚本工具来实现各种目的，更是需要拥有编程能力.

如果你零基础入门，笔者建议选择脚本语言Python/PHP/Go/Java中的一种，对常用库进行编程学习；搭建开发环境和选择IDE,PHP环境推荐Wamp和XAMPP， IDE强烈推荐Sublime；·Python编程学习，学习内容包含：语法、正则、文件、网络、多线程等常用库，推荐《Python核心编程》，不要看完；·用Python编写漏洞的exp,然后写一个简单的网络爬虫；·PHP基本语法学习并书写一个简单的博客系统；熟悉MVC架构，并试着学习一个PHP框架或者Python框架 (可选)；·了解Bootstrap的布局或者CSS。

8、超级黑客
这部分内容对零基础的同学来说还比较遥远，就不展开细说了，附上学习路线。

网络安全工程师企业级学习路线

如图片过大被平台压缩导致看不清的话，评论区点赞和评论区留言获取吧。我都会回复的

视频配套资料&国内外网安书籍、文档&工具

当然除了有配套的视频，同时也为大家整理了各种文档和书籍资料&工具，并且已经帮大家分好类了。

一些笔者自己买的、其他平台白嫖不到的视频教程。

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化资料的朋友，可以点击这里获取

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！

import time
from shutil import copyfile
from colorlog import ColoredFormatter

log directory

LOG_DIR = “./logs”

level fot stdout

STD_LEVEL = logging.WARN

level for file

FILE_LEVEL = logging.DEBUG

CRITICAL = 50
FATAL = CRITICAL
ERROR = 40
WARNING = 30
WARN = WARNING
INFO = 20
DEBUG = 10
NOTSET = 0

class Log:
def init(self, log_dir=LOG_DIR):
“”"
function:init create log file, judge if log file is too bigger
:param log_dir: directory of logs
“”"
log_path = log_dir + “/log”
if not os.path.exists(log_dir):
os.mkdir(log_dir)
os.chmod(log_dir, 0o777)
if not os.path.exists(log_path):
f = open(log_path, mode=‘w’, encoding=‘utf-8’)
f.close()
os.chmod(log_path, 0o777)
# if log file is more than 1MB, copy to a file and clear log file
if os.path.getsize(log_path) / 1048576 > 1:
# print(os.path.getsize(log_path))
copyfile(log_path, log_dir + “/log” + str(time.time()).replace(“.”, “”))
with open(log_path, ‘w’) as f:
f.truncate()
f.close()
self.logger_format = logging.Formatter(‘%(asctime)s - %(levelname)s: %(message)s’)
self.c_logger_format = ColoredFormatter(fmt=‘%(log_color)s%(asctime)s’
’ - %(log_color)s%(levelname)s: %(log_color)s%(message)s’,
reset=True,
secondary_log_colors={},
style=‘%’
)
self.logger = logging.getLogger(str(random.random()))
self.logger.handlers.clear()
self.logger.setLevel(logging.DEBUG)

    self.filehandler = logging.FileHandler(log_path, mode='a')
    self.filehandler.setLevel(FILE_LEVEL)
    self.filehandler.setFormatter(self.logger_format)

    self.stdouthandler = logging.StreamHandler(sys.stdout)
    self.stdouthandler.setLevel(STD_LEVEL)
    self.stdouthandler.setFormatter(self.c_logger_format)

    self.logger.addHandler(self.stdouthandler)
    self.logger.addHandler(self.filehandler)

    self.__lock = multiprocessing.Lock()

def __log(self, msg=None, level=logging.INFO):
    if level == logging.DEBUG:
        self.logger.debug(msg)
    elif level == logging.INFO:
        self.logger.info(msg)
    elif level == logging.WARNING:
        self.logger.warning(msg)
    elif level == logging.ERROR:
        self.logger.error(msg)
    elif level == logging.CRITICAL:
        self.logger.critical(msg)

def log_show_store(self, msg, level):
    """
    function: show logs on screen and store logs into log file
    :param msg:message of log
    :param level:level of log
    return: None
    """
    self.__lock.acquire()
    self.logger.addHandler(self.stdouthandler)
    self.logger.addHandler(self.filehandler)
    self.__log(msg=msg, level=level)
    self.__lock.release()

def log_show(self, msg, level):
    """
    function:show msg on the screen
    :param msg:message of log
    :param level: level of log
    """
    self.__lock.acquire()
    self.logger.removeHandler(self.filehandler)
    self.logger.addHandler(self.stdouthandler)
    self.__log(msg, level=level)
    self.logger.removeHandler(self.stdouthandler)
    self.logger.addHandler(self.filehandler)
    self.__lock.release()

def log_store(self, msg, level):
    """
    function:store msg into log file
    :param msg:message of log
    :param level: level of log
    """
    self.__lock.acquire()
    self.logger.removeHandler(self.stdouthandler)
    self.logger.addHandler(self.filehandler)
    self.__log(msg, level=level)
    self.logger.removeHandler(self.filehandler)
    self.logger.addHandler(self.stdouthandler)
    self.__lock.release()

def log_wrapper(self, *args):
    """
    function: record arg and result of functions
    :param args:
    :return: wrapper
    """
    self.log_store(' '.join(args), FILE_LEVEL)

    def wrapper(func):
        def inner(*args, **kwargs):
            self.log_store(getattr(func, "__name__") + " call " + str(args) + str(kwargs), 10)
            ret = func(*args, **kwargs)
            self.log_store(getattr(func, "__name__") + " return " + str(ret), 10)
            return ret

        return inner

    return wrapper


### 导入及全局变量


colorlog需要安装一下，可以控制台输出彩色的


multiprocessing用于进程安全，加锁


设置了几个全局变量，方便修改


LOG\_DIR是日志保存的目录


STD\_LEVEL是控制台输出的级别，只输出WARN及以上的


FILE\_LEVEL是保存日志文件的级别，一般调试时使用DEBUG，生产环境时使用INFO


### 函数


\_\_init\_\_


1. 创建目录和日志文件，如果不存在。若大于1M，复制为当前日期时间的日志文件
2. 设置了控制台和文件的格式器，控制台是彩色的
3. 设置了控制台和文件的处理器


log\_show\_store


保存到日志文件并打印到控制台


log\_show


仅打印到控制台


log\_store


仅保存到日志文件


log\_wrapper


日志装饰器，用于添加到重要函数上，记录函数调用参数及返回值


## 实验及结果

“”"
-- coding:utf-8 --
@File: main.py
@Author:frank yu
@DateTime: 2021.10.12 20:56
@Contact: frankyu112058@gmail.com
@Description:
“”"
from utils.log import Log, DEBUG, WARN, INFO
from concurrent.futures import ThreadPoolExecutor, ProcessPoolExecutor

log = Log()

@log.log_wrapper(“wrapper for test”)
def test(a, b, c=5):
log.log_show('main test 1 ’ + str(a), level=DEBUG)
log.log_show('main test 2 ’ + str(b), level=WARN)
log.log_store('main test 3 ’ + str(a), level=DEBUG)
log.log_store('main test 4 ’ + str(b), level=WARN)
log.log_show_store('main test 5 ’ + str(a + b), level=INFO)
return a + b + c

def even(num):
log.log_store('main even 1 ’ + str(num), level=INFO)

def odd(num):
log.log_store('main odd 1 ’ + str(num), level=INFO)

multi thread test

def multi_thread():
exe = ThreadPoolExecutor(4)
for i in range(10):
if i & 1 == 0:
exe.submit(even, i)
else:
exe.submit(odd, i)

multi process test

def multi_process():
exe = ProcessPoolExecutor(4)
for i in range(10):
if i & 1 == 0:
exe.submit(even, i)
else:
exe.submit(odd, i)

if name == ‘main’:
test(3, 4, 6)
multi_thread()
multi_process()


msg这里传的是 **模块 函数 函数行数 消息** ，程序出错方便定位。


test测试了日志级别和日志装饰器


multi\_thread测试了多线程


multi\_process测试了多进程


结果如下：




![](https://img-blog.csdnimg.cn/b9f2e453c3204bdf863afefb76441237.PNG?x-oss-process=image/watermark,type_ZHJvaWRzYW5zZmFsbGJhY2s,shadow_50,text_Q1NETiBAbGFkeV9raWxsZXI5,size_20,color_FFFFFF,t_70,g_se,x_16)

 测试结果 
 


可以看到控制台仅输出了WARNING级别，当然，如果有更高级别也会输出。


可以看到test函数的调用及参数和返回结果


可以看到多线程和多进程状态下结果没有丢失


## 更新


用了段时间，彩色的花里胡哨，很少用到，formatter有点少，而且封装后不能定位打印日志的文件，还是直接使用logger吧。


log.py

“”"
-- coding:utf-8 --
@File: log.py
@Author:frank yu
@DateTime: 2023.08.17 15:07
@Contact: frankyu112058@gmail.com
@Description:
日志封装

可以多线程、多进程使用
默认只有控制台handler，可以通过set_std、set_file、set_std_file设置，尤其是想保存到文件时
其他地方使用只import log对象即可
“”"
import functools
import logging
import os
import random
import sys
import multiprocessing
import time
from shutil import copyfile

log directory

LOG_DIR = “./logs”

level for stdout

STD_LEVEL = logging.DEBUG

level for file

FILE_LEVEL = logging.DEBUG

class Log:
def init(self, log_dir=LOG_DIR):
“”"
function:init create log file, judge if log file is too bigger
:param log_dir: directory of logs
“”"
log_path = log_dir + “/log”
if not os.path.exists(log_dir):
os.mkdir(log_dir)
os.chmod(log_dir, 0o777)
if not os.path.exists(log_path):
f = open(log_path, mode=‘w’, encoding=‘utf-8’)
f.close()
os.chmod(log_path, 0o777)
# if log file is more than 1MB, copy to a file and clear log file
if os.path.getsize(log_path) / 1048576 > 1:
# print(os.path.getsize(log_path))
copyfile(log_path, log_dir + “/log” + str(time.time()).replace(“.”, “”))
with open(log_path, ‘w’) as f:
f.truncate()
f.close()
self.logger_format = logging.Formatter(‘[%(asctime)s %(filename)s:%(funcName)s:%(lineno)d %(levelname)-8s] %(’
‘message)s’)

    self.logger = logging.getLogger(str(random.random()))
    self.logger.handlers.clear()
    self.logger.setLevel(logging.DEBUG)

    self.filehandler = logging.FileHandler(log_path, mode='a')
    self.filehandler.setLevel(FILE_LEVEL)
    self.filehandler.setFormatter(self.logger_format)

    self.stdouthandler = logging.StreamHandler(sys.stdout)
    self.stdouthandler.setLevel(STD_LEVEL)
    self.stdouthandler.setFormatter(self.logger_format)

    self.logger.addHandler(self.stdouthandler)

    self.__lock = multiprocessing.Lock()

def set_std_file(self):
    """
    function: set std and file handler
    return: None
    """
    self.__lock.acquire()
    self.logger.addHandler(self.stdouthandler)
    self.logger.addHandler(self.filehandler)
    self.__lock.release()

def set_std(self):
    """
    function: set std handler
    """
    self.__lock.acquire()
    self.logger.removeHandler(self.filehandler)
    self.logger.addHandler(self.stdouthandler)
    self.__lock.release()

学习路线：

这个方向初期比较容易入门一些，掌握一些基本技术，拿起各种现成的工具就可以开黑了。不过，要想从脚本小子变成黑客大神，这个方向越往后，需要学习和掌握的东西就会越来越多以下是网络渗透需要学习的内容：
在这里插入图片描述

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化资料的朋友，可以点击这里获取

2401_84240129

关注

21
点赞
踩
16

收藏

觉得还不错? 一键收藏
1
评论
Python-logging详解（彩色日志扩展，多进程安全等）_python的logging(1)

①了解行业相关背景，前景，确定发展方向。②学习网络安全相关法律法规。③网络安全运营的概念。④等保简介、等保规定、流程和规范。（非常重要）①渗透测试的流程、分类、标准②信息收集技术：主动/被动信息搜集、Nmap工具、Google Hacking③漏洞扫描、漏洞利用、原理，利用方法、工具（MSF）、绕过IDS和反病毒侦察④主机攻防演练：MS17-010、MS08-067、MS10-046、MS12-20等①Windows系统常见功能和命令。
复制链接

扫一扫