1.项目介绍
本项目就是一个日志器系统,目的就是方便程序员在代码开发中进行日志信息的获取,调试代码定位错误排查问题
这个项目主要支持以下几个功能:
多级别日志消息(可以控制日志输出等级)
同步于异步日志
多种落地方向 (如标准输出,指定文件,以大小自动切换的文件) 可扩展
支持多线程写日志
用到的核心技术:
分模块叙述:
项目源代码
2.开发环境
• ubuntu 22
• vscode
• g++/gdb
• Makefile
3.核心技术
- 类层次设计(继承与多态的应用)
- c++11(auto,智能指针,右值引用等)
- 双缓冲区
- 生产消费模型
- 多线程
- 设计模式(单例模式,工厂模式,建造者模式,模板模式,代理模式)
4.日志器模块
1.日志等级模块:定义日志的等级 等级有大小区分 可以做到限制等级输出 开发者根据日志等级可以针对性的解决和定位问题
本日志器共分为五个等级
DEBUG, 调试消息
INFO, 消息
WARNING, 警告
ERROR, 发生错误
FATAL, 发生致命错误
OFF 关闭所以日志输出
2.日志消息模块:一条日志所需要的的各种信息总和 类
类中含有 日志等级 时间 线程id 文件名 行号 日志器名称 消息主体
3.日志器消息格式模块:对日志器的日志消息输出格式,得到字符串类型的整体日志消息 我们也缺省提供了一个默认的格式
格式化流程: 我们对每种消息都有对应的格式控制(还是需要使用者看一下使用方法)
%+字符对应一种类型信息 我们对每个格式都有对应的函数 以将日志消息中的对应信息转换为字符串(这里大量使用了继承和多态) 使用时需要传入对应格式的字符串, 我们会对其进行切割 按顺序将对应的格式对应处理方法放到一个vector管理起来 在输出时只需要遍历vector调用方法就可以得到对应的字符串
各种字符代表的消息
%d ⽇期 %T 缩进 %t 线程id %p ⽇志级别 %c ⽇志器名称
%f ⽂件名 %l ⾏号 %m ⽇志消息 %n 换⾏
4.日志器落地模块:将日志消息落地到对应的文件 本模块默认支持三种落地模式 可扩展
采用到了简单工厂模式
将日志器消息格式模块得到的字符串数据写到文件中
默认支持三种方式
标准输出 指定文件 根据文件大小滚动切换文件
5.异步线程模块:异步日志器需要这个模块
异步模式 主线程将得到的字符串交给异步线程 由异步线程调用落地函数
这里的消息传递采用双缓冲区的生产消费模型 实现了读写分离
一个写入缓冲区 由主线程写入 一个落地缓冲区 异步线程将数据取出并写入文件
双缓冲区的应用:
双缓冲区的好处:
提高了并发读写的效率 在多线程情况下 读写操作存在竞争的 读写分离减少了竞争 仅在两个缓冲区交数据的情况下存在线程互斥
提高了数据安全性 避免了读写操作交叉 从而保证了安全性
提高系统稳定性 减少读写阻塞 提高系统稳定性
相较于环形队列
环形队列同时读取 需要相对较平衡的生产和消费 才能高效 节约了空间 内存反复使用
双缓冲区适用于双方速率不一致 消耗空间
当写缓冲区所以数据都写入完毕就交换讲个缓冲区 这样只有两个缓冲区交换时才需要加锁
6.日志器模块:对以上模块的整合
采用建造者模式
日志器分为同步,异步(安全,非安全) 这些日志器有分为 本地,全局
得到日志消息 建造日志消息对象 得到日志消息的字符串 再调用落地模块
异步模式需要调用异步线程模块
实现流程:由工作线程将日志信息交给异步线程 由异步线程实现落地
全局模式下的日志器都要放进日志器管理模块
7.日志器管理模块:管理全局的日志器
采用了单例模式
将全局模式的日志器都记录下来 再上层调用的时候根据日志器名调用对应日志器
8.缓冲区模块
与异步线程的信息交换
维护一片缓冲区 拥有数据写入和取出方法 安全模式下不扩容 极限测试模式下可以进行扩容
9.任志宏&全局接口模块
为了方便用户使用 还需要使用宏封装一个默认的日志器 根据等级直接落地日志
采用代理模式简化用户使用函数的成本 用户只需要传入日志消息本体就行
测试
环境
在云服务器下 1G内存 ubuntu 22 系统
写入五十万条日志 每条日志内容为50kb
单线程情况下
同步日志器模式 耗时1.7秒 平均29万条每秒
异步日志器安全模式 耗时2.06秒 大约24.2万条每秒
异步日志器极限测试模式 耗时2.65秒 大约18.8万条每秒
十个线程情况下
同步日志器模式 耗时1.3秒 平均38.2万条每秒
异步日志器安全模式 耗时1.04秒 大约48万条每秒
异步日志器极限测试模式 耗时1.04秒 大约48万条每秒