c++_基于多种设计模式下的同步&异步日志器系统

已于 2023-10-08 18:41:51 修改
阅读量206 收藏 1
点赞数 1
文章标签： c++ 设计模式 开发语言
于 2023-08-17 13:06:40 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_55340276/article/details/132326010
版权

1.项目介绍
本项目就是一个日志器系统，目的就是方便程序员在代码开发中进行日志信息的获取，调试代码定位错误排查问题
这个项目主要支持以下几个功能：
多级别日志消息（可以控制日志输出等级）
同步于异步日志
多种落地方向 （如标准输出，指定文件，以大小自动切换的文件） 可扩展
支持多线程写日志
用到的核心技术：
分模块叙述：

项目源代码
2.开发环境
• ubuntu 22
• vscode
• g++/gdb
• Makefile
3.核心技术

  1. 类层次设计（继承与多态的应用）
  2. c++11（auto，智能指针，右值引用等）
  3. 双缓冲区
  4. 生产消费模型
  5. 多线程
  6. 设计模式（单例模式，工厂模式，建造者模式，模板模式，代理模式）

4.日志器模块
1.日志等级模块：定义日志的等级 等级有大小区分 可以做到限制等级输出 开发者根据日志等级可以针对性的解决和定位问题

本日志器共分为五个等级
DEBUG, 调试消息
INFO, 消息
WARNING, 警告
ERROR, 发生错误
FATAL, 发生致命错误
OFF 关闭所以日志输出

2.日志消息模块：一条日志所需要的的各种信息总和 类
类中含有 日志等级 时间 线程id 文件名 行号 日志器名称 消息主体

3.日志器消息格式模块：对日志器的日志消息输出格式，得到字符串类型的整体日志消息 我们也缺省提供了一个默认的格式

格式化流程： 我们对每种消息都有对应的格式控制（还是需要使用者看一下使用方法）
%+字符对应一种类型信息 我们对每个格式都有对应的函数 以将日志消息中的对应信息转换为字符串（这里大量使用了继承和多态） 使用时需要传入对应格式的字符串， 我们会对其进行切割 按顺序将对应的格式对应处理方法放到一个vector管理起来 在输出时只需要遍历vector调用方法就可以得到对应的字符串

各种字符代表的消息
%d ⽇期 %T 缩进 %t 线程id %p ⽇志级别 %c ⽇志器名称
%f ⽂件名 %l ⾏号 %m ⽇志消息 %n 换⾏

4.日志器落地模块：将日志消息落地到对应的文件 本模块默认支持三种落地模式 可扩展
采用到了简单工厂模式

将日志器消息格式模块得到的字符串数据写到文件中
默认支持三种方式
标准输出 指定文件 根据文件大小滚动切换文件

5.异步线程模块：异步日志器需要这个模块
异步模式 主线程将得到的字符串交给异步线程 由异步线程调用落地函数

这里的消息传递采用双缓冲区的生产消费模型 实现了读写分离
一个写入缓冲区 由主线程写入 一个落地缓冲区 异步线程将数据取出并写入文件

双缓冲区的应用：
双缓冲区的好处：
提高了并发读写的效率 在多线程情况下 读写操作存在竞争的 读写分离减少了竞争 仅在两个缓冲区交数据的情况下存在线程互斥
提高了数据安全性 避免了读写操作交叉 从而保证了安全性
提高系统稳定性 减少读写阻塞 提高系统稳定性

相较于环形队列
环形队列同时读取 需要相对较平衡的生产和消费 才能高效 节约了空间 内存反复使用
双缓冲区适用于双方速率不一致 消耗空间
当写缓冲区所以数据都写入完毕就交换讲个缓冲区 这样只有两个缓冲区交换时才需要加锁

6.日志器模块：对以上模块的整合
采用建造者模式
日志器分为同步，异步（安全，非安全） 这些日志器有分为 本地，全局
得到日志消息 建造日志消息对象 得到日志消息的字符串 再调用落地模块

异步模式需要调用异步线程模块
实现流程：由工作线程将日志信息交给异步线程 由异步线程实现落地

全局模式下的日志器都要放进日志器管理模块

7.日志器管理模块：管理全局的日志器
采用了单例模式
将全局模式的日志器都记录下来 再上层调用的时候根据日志器名调用对应日志器

8.缓冲区模块
与异步线程的信息交换
维护一片缓冲区 拥有数据写入和取出方法 安全模式下不扩容 极限测试模式下可以进行扩容

9.任志宏&全局接口模块
为了方便用户使用 还需要使用宏封装一个默认的日志器 根据等级直接落地日志
采用代理模式简化用户使用函数的成本 用户只需要传入日志消息本体就行

在这里插入图片描述
测试
环境
在云服务器下 1G内存 ubuntu 22 系统
写入五十万条日志 每条日志内容为50kb

单线程情况下
同步日志器模式 耗时1.7秒 平均29万条每秒
异步日志器安全模式 耗时2.06秒 大约24.2万条每秒
异步日志器极限测试模式 耗时2.65秒 大约18.8万条每秒
在这里插入图片描述
十个线程情况下
同步日志器模式 耗时1.3秒 平均38.2万条每秒
异步日志器安全模式 耗时1.04秒 大约48万条每秒
异步日志器极限测试模式 耗时1.04秒 大约48万条每秒
在这里插入图片描述
在这里插入图片描述

blue--lan
关注
  • 1
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
C++ LinuxWebServer项目(5)同步异步日志系统
忆_恒心的博客
06-01 1925
同步异步日志系统解决并发量问题
C++项目设计：构建高性能、线程安全的日志系统
探索C++编程的奥秘，分享深入的技术见解和实践，旨在激发读者创造力与解决问题的思维。
05-25 3491
C++项目设计：构建高性能、线程安全的日志系统
C++实现的日志系统·
11-18
我从网上找到的多个C++日志demo，支持跨平台和多线程安全。但是我不是很会用，都觉得用起来不方便，大家用的什么好用日志系统，麻烦留个言。这个也感谢各个demo的作者。
基于多设计模式下的同步&异步⽇志系统
m0_62807361的博客
07-29 839
本项⽬主要实现⼀个⽇志系统， 其主要⽀持以下功能:•⽀持多级别⽇志消息•⽀持同步⽇志和异步⽇志•⽀持可靠写⼊⽇志到控制台、⽂件以及滚动⽂件中•⽀持多线程程序并发写⽇志•⽀持扩展不同的⽇志落地⽬标地。
C++(week11): C++基础 第四章: 日志系统
最新发布
Edward2022的博客
07-04 1122
日志系统：log for cpp
简单C++日志系统
qq_29198669的博客
10-31 311
简单C++日志系统 log4cpp
C++日志系统
z15f34的博客
05-15 204
对于开发来说，好的日志系统是一大助力。异步日志，实时写入，速度要快；
c++日志系统
weixin_50915200的博客
02-28 206
c++日志
C++实现生产者-消费者高效异步日志系统源码
06-13
在这个场景下，"C++实现生产者-消费者高效异步日志系统源码"的标题表明我们将讨论一个基于C++编写的日志系统，它运用了生产者-消费者模型来实现高效的日志记录功能。 首先，日志系统是任何复杂软件系统的重要组成...
C++高性能服务器框架——日志系统详解
Linuxhus的博客
08-12 2064
1|0日志文件系统 对文件系统进行修改时，需要进行很多操作。这些操作可能中途被打断，也就是说，这些操作不是“不可中断”(atomic)的。如果操作被打断，就可能造成文件系统出现不一致的状态。 例如：删除文件时，先要从目录树中移除文件的标示，然后收回文件占用的空间。如果在这两步之间操作被打断，文件占用的空间就无法收回。文件系统认为它是被占用的，但实际上目录树中已经找不到使用它的文件了。 在非日志文件系统中，要检查并修复类似的错误必须对整个文件系统的数据结构进行检查。这个操作可能会花费很长的时间。 为了
每秒百万级高效C++异步日志实践
热门推荐
LeechanX
06-08 2万+
每秒百万级高效C++异步日志实践 RING LOG是一个适用于C++的异步日志， 其特点是效率高（实测每秒支持125+万日志写入）、易拓展，尤其适用于频繁写日志的场景
C++实现日志系统
07-05
C++实现的日志系统，支持变长参数，支持文件大小控制。
c++实现日志系统
01-24
软件开发中常常将关键的操作、一般性警告以及严重的错误，通过日志文件的形式输出字符串，本子系统实现bootlog，debuglog，warning，fatallog等输出形式，支持linux、windows两种编译环境，支持多线程。有不到之处欢迎指正，交流。email：caohaitao_linux@163.com
C++ 开源日志系统
03-20
里面包含 log4cplus 类库文件 说明书 我自己画的类图 使用方式
C++通用日志系统Logger
03-25
日志系统是成熟软件中的一个重要组成部分，其记录软件的使用和运行行为，方便事后进行故障分析、数据统计等。 本日志模块的主旨是提供一个基于Qt框架，简单易用、可拓展性好、支持多种输出目标和格式的底层日志库，方便上层调用。模块设计过程中参考了Log4j等软件，并结合C++特性，具有高度可拓展、使用灵活、高性能等优点。
log4cplus 源码(C++编写的开源的日志系统)
07-18
log4cplus是C++编写的开源的日志系统，功能非常全面，用到自己开发的工程中会比较专业的，：），本文介绍了log4cplus基本概念，以及如何安装，配置。 ### 简介 ### log4cplus是C++编写的开源的日志系统，前身是java编写的log4j系统.受Apache Software License保护。作者是Tad E. Smith。log4cplus具有线程安全、灵活、以及多粒度控制的特点，通过将信息划分优先级使其可以面向程序调试、运行、测试、和维护等全生命周 期； 你可以选择将信息输出到屏幕、文件、 NT event log、甚至是远程服务器；通过指定策略对日志进行定期备份等等。 ### 下载 ### 最新的log4cplus可以从以下网址下载 http://log4cplus.sourceforge.net本文使用的版本为：1.0.2 ### 安装 ### 1. linux下安装 tar xvzf log4cplus-x.x.x.tar.gz cd log4cplus-x.x.x ./configure --prefix=/where/to/install make make install 这里我采用缺省安装路径：/usr/local，下文如无特别说明，均以此路径为准。 2. windows下安装 不需要安装，有一个msvc6存放包括源代码和用例在内的开发工程（for VC6 only），使用之前请先编译 "log4cplus_dll class"工程生成dll，或者编译"log4cplus_static class"工程生成lib. ### 使用前的配置 ### 1. linux下的配置 确保你的Makefile中包含 /usr/local/lib/liblog4cplus.a（静态库）或 -llog4cplus（动态库）即可， 头文件在/usr/local/include/log4cplus目录下。对于动态库，要想正常使用，还得将库安装路径加入到 LD_LIBRARY_PATH 中，我一般是这样做的：以管理员身份登录，在/etc/ld.so.conf中加入安装路径，这里 是/usr/local/lib，然后执行ldconfig使设置生效即可。 2. windows下的配置 将"log4cplus_dll class"工程或"log4cplus_static class"工程的dsp 文件插入到你的工程中，或者直接 把两个工程编译生成的库以及头文件所在目录放到你的工程的搜索路径中，如果你使用静态库，请在你的工程中 "project/setting/C++"的preprocessor definitions中加入LOG4CPLUS_STATIC。 ### 构成要素介绍 ### 虽然功能强大，应该说log4cplus用起来还是比较复杂的，为了更好地使用它，先介绍一下它的基本要素。 Layouts ：布局器，控制输出消息的格式. Appenders ：挂接器，与布局器紧密配合，将特定格式的消息输出到所挂接的设备终端 （如屏幕，文件等等)。 Logger ：记录器，保存并跟踪对象日志信息变更的实体，当你需要对一个对象进行 记录时，就需要生成一个logger。 Categories ：分类器，层次化（hierarchy）的结构，用于对被记录信息的分类，层次中 每一个节点维护一个logger的所有信息。 Priorities ：优先权，包括TRACE, DEBUG, INFO, WARNING, ERROR, FATAL。 本文介绍了log4cplus基本概念，以及如何安装，配置，下一篇将通过例子介绍如何使用log4cplus。 （二） 本文介绍了使用log4cplus有六个步骤，并提供了一些例子引导你了解log4cplus的基本使用。 ### 基本使用 ### 使用log4cplus有六个基本步骤： 1. 实例化一个appender对象 2. 实例化一个layout对象 3. 将layout对象绑定(attach)到appender对象 4. 实例化一个logger对象,调用静态函数：log4cplus::Logger::getInstance("logger_name") 5. 将appender对象绑定(attach)到logger对象，如省略此步骤，标准输出（屏幕）appender对象会绑定到logger 6. 设置logger的优先级，如省略此步骤，各种有限级的消息都将被记录 下面通过一些例子来了解log4cplus的基本使用。 〖例1〗 cpp 代码 /* 严格实现步骤1-6，appender输出到屏幕, 其中的布局格式和LogLevel后面会详细解释。*/ #include #include #include using namespace log4cplus; using namespace log4cplus::helpers; int main(){ /* step 1: Instantiate an appender object */ SharedObjectPtr _append (new ConsoleAppender()); _append->setName("append for test"); /* step 2: Instantiate a layout object */ std::string pattern = "%d{%m/%d/%y %H:%M:%S} - %m [%l]%n"; std::auto_ptr _layout(new PatternLayout(pattern)); /* step 3: Attach the layout object to the appender */ _append->setLayout( _layout ); /* step 4: Instantiate a logger object */ Logger _logger = Logger::getInstance("test"); /* step 5: Attach the appender object to the logger */ _logger.addAppender(_append); /* step 6: Set a priority for the logger */ _logger.setLogLevel(ALL_LOG_LEVEL); /* log activity */ LOG4CPLUS_DEBUG(_logger, "This is the FIRST log message...") sleep(1); LOG4CPLUS_WARN(_logger, "This is the SECOND log message...") return 0; } 输出结果： 10/14/04 09:06:24 - This is the FIRST log message... [main.cpp:31] 10/14/04 09:06:25 - This is the SECOND log message... [main.cpp:33] 〖例2〗 /* 简洁使用模式，appender输出到屏幕。 */ #include #include using namespace log4cplus; using namespace log4cplus::helpers; int main() { /* step 1: Instantiate an appender object */ SharedAppenderPtr _append(new ConsoleAppender()); _append->setName("append test"); /* step 4: Instantiate a logger object */ Logger _logger = Logger::getInstance("test"); /* step 5: Attach the appender object to the logger */ _logger.addAppender(_append); /* log activity */ LOG4CPLUS_DEBUG(_logger, "This is the FIRST log message...") sleep(1); LOG4CPLUS_WARN(_logger, "This is the SECOND log message...") return 0; } 输出结果： DEBUG - This is the FIRST log message... WARN - This is the SECOND log message... 〖例3〗 /* iostream模式，appender输出到屏幕。 */ #include #include #include /* 其实这个东东还是放到log4cplus头文件中比较合适些，个人意见：） */using namespace log4cplus; int main() { /* step 1: Instantiate an appender object */ SharedAppenderPtr _append(new ConsoleAppender()); _append->setName("append test"); /* step 4: Instantiate a logger object */ Logger _logger = Logger::getInstance("test"); /* step 5: Attach the appender object to the logger */ _logger.addAppender(_append); /* log activity */ LOG4CPLUS_TRACE(_logger, "This is" << " just a t" << "est." << std::endl) LOG4CPLUS_DEBUG(_logger, "This is a bool: " << true) LOG4CPLUS_INFO(_logger, "This is a char: " << 'x') LOG4CPLUS_WARN(_logger, "This is a int: " << 1000) LOG4CPLUS_ERROR(_logger, "This is a long(hex): " << std::hex << 100000000) LOG4CPLUS_FATAL(_logger, "This is a double: " << std::setprecision(15) << 1.2345234234) return 0; } 输出结果： DEBUG - This is a bool: 1 INFO - This is a char: x WARN - This is a int: 1000 ERROR - This is a long(hex): 5f5e100 FATAL - This is a double: 1.2345234234 〖例4〗 /* 调试模式，通过loglog来控制输出调试、警告或错误信息，appender输出到屏幕。 */ #include #include using namespace log4cplus::helpers; void printMsgs(void) { std::cout << "Entering printMsgs()..." << std::endl; LogLog::getLogLog()->debug("This is a Debug statement..."); LogLog::getLogLog()->warn("This is a Warning..."); LogLog::getLogLog()->error("This is a Error..."); std::cout << "Exiting printMsgs()..." << std::endl << std::endl; } int main() { /* LogLog类实现了debug, warn, error 函数用于输出调试、警告或错误信息， 同时提供了两个方法来进一步控制所输出的信息，其中： setInternalDebugging方法用来控制是否屏蔽输出信息中的调试信息，当输入 参数为false则屏蔽，缺省设置为false。 setQuietMode方法用来控制是否屏蔽所有输出信息，当输入参数为true则屏蔽， 缺省设置为false。 LogLog::getLogLog()->setInternalDebugging(false); */ printMsgs(); std::cout << "Turning on debug..." << std::endl; LogLog::getLogLog()->setInternalDebugging(true); printMsgs(); std::cout << "Turning on quiet mode..." << std::endl; LogLog::getLogLog()->setQuietMode(true); printMsgs(); return 0; } 输出结果： Entering printMsgs()... log4cplus:WARN This is a Warning... log4cplus:ERROR This is a Error... Exiting printMsgs()... Turning on debug... Entering printMsgs()... log4cplus: This is a Debug statement... log4cplus:WARN This is a Warning... log4cplus:ERROR This is a Error... Exiting printMsgs()... Turning on quiet mode... Entering printMsgs()... Exiting printMsgs()... 需要指出的是，输出信息中总是包含"log4cplus:"前缀，有时候会感觉不爽，这是因为LogLog在实现时候死定了要这么写： LogLog::LogLog() : mutex(LOG4CPLUS_MUTEX_CREATE), debugEnabled(false), quietMode(false), PREFIX( LOG4CPLUS_TEXT("log4cplus: ") ), WARN_PREFIX( LOG4CPLUS_TEXT("log4cplus:WARN ") ), ERR_PREFIX( LOG4CPLUS_TEXT("log4cplus:ERROR ") ) { } 你可以把这些前缀换成自己看着爽的提示符号，然后重新编译，hihi。除非万不得已或者实在郁闷的不行，否则还是不要这样干。
C++: Log 日志系统（依赖库：Log4Cplus）
belien
03-20 3682
C++ Log 日志系统的设计与实现，推荐三方库 Log4cplus
一个简单的C++日志系统实现
weixin_30333885的博客
03-14 233
一个跨平台的日志系统 用法如下 test_log.cpp #include <iostream> #include "log.h" simpleLog::Log *g_p_default_Log = NULL; int main() { static simpleLog::Log mylog("./log/my.log"); g_p_defau...
ACE与C++网络编程：设计模式与实践
"C++网络编程 卷1是国外一本经典的C++编程指南，它将ACE（Adaptive Communication Environment）工具包与设计模式相结合，深入探讨了网络编程的各个方面。这本书旨在解决网络应用设计中的挑战，介绍了一系列面向对象...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值