c++_基于多种设计模式下的同步&异步日志器系统

已于 2023-10-08 18:41:51 修改
阅读量176 收藏 1
点赞数 1
文章标签： c++ 设计模式 开发语言
于 2023-08-17 13:06:40 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_55340276/article/details/132326010
版权

1.项目介绍
本项目就是一个日志器系统，目的就是方便程序员在代码开发中进行日志信息的获取，调试代码定位错误排查问题
这个项目主要支持以下几个功能：
多级别日志消息（可以控制日志输出等级）
同步于异步日志
多种落地方向 （如标准输出，指定文件，以大小自动切换的文件） 可扩展
支持多线程写日志
用到的核心技术：
分模块叙述：

项目源代码
2.开发环境
• ubuntu 22
• vscode
• g++/gdb
• Makefile
3.核心技术

  1. 类层次设计（继承与多态的应用）
  2. c++11（auto，智能指针，右值引用等）
  3. 双缓冲区
  4. 生产消费模型
  5. 多线程
  6. 设计模式（单例模式，工厂模式，建造者模式，模板模式，代理模式）

4.日志器模块
1.日志等级模块：定义日志的等级 等级有大小区分 可以做到限制等级输出 开发者根据日志等级可以针对性的解决和定位问题

本日志器共分为五个等级
DEBUG, 调试消息
INFO, 消息
WARNING, 警告
ERROR, 发生错误
FATAL, 发生致命错误
OFF 关闭所以日志输出

2.日志消息模块：一条日志所需要的的各种信息总和 类
类中含有 日志等级 时间 线程id 文件名 行号 日志器名称 消息主体

3.日志器消息格式模块：对日志器的日志消息输出格式，得到字符串类型的整体日志消息 我们也缺省提供了一个默认的格式

格式化流程： 我们对每种消息都有对应的格式控制（还是需要使用者看一下使用方法）
%+字符对应一种类型信息 我们对每个格式都有对应的函数 以将日志消息中的对应信息转换为字符串（这里大量使用了继承和多态） 使用时需要传入对应格式的字符串， 我们会对其进行切割 按顺序将对应的格式对应处理方法放到一个vector管理起来 在输出时只需要遍历vector调用方法就可以得到对应的字符串

各种字符代表的消息
%d ⽇期 %T 缩进 %t 线程id %p ⽇志级别 %c ⽇志器名称
%f ⽂件名 %l ⾏号 %m ⽇志消息 %n 换⾏

4.日志器落地模块：将日志消息落地到对应的文件 本模块默认支持三种落地模式 可扩展
采用到了简单工厂模式

将日志器消息格式模块得到的字符串数据写到文件中
默认支持三种方式
标准输出 指定文件 根据文件大小滚动切换文件

5.异步线程模块：异步日志器需要这个模块
异步模式 主线程将得到的字符串交给异步线程 由异步线程调用落地函数

这里的消息传递采用双缓冲区的生产消费模型 实现了读写分离
一个写入缓冲区 由主线程写入 一个落地缓冲区 异步线程将数据取出并写入文件

双缓冲区的应用：
双缓冲区的好处：
提高了并发读写的效率 在多线程情况下 读写操作存在竞争的 读写分离减少了竞争 仅在两个缓冲区交数据的情况下存在线程互斥
提高了数据安全性 避免了读写操作交叉 从而保证了安全性
提高系统稳定性 减少读写阻塞 提高系统稳定性

相较于环形队列
环形队列同时读取 需要相对较平衡的生产和消费 才能高效 节约了空间 内存反复使用
双缓冲区适用于双方速率不一致 消耗空间
当写缓冲区所以数据都写入完毕就交换讲个缓冲区 这样只有两个缓冲区交换时才需要加锁

6.日志器模块：对以上模块的整合
采用建造者模式
日志器分为同步，异步（安全，非安全） 这些日志器有分为 本地，全局
得到日志消息 建造日志消息对象 得到日志消息的字符串 再调用落地模块

异步模式需要调用异步线程模块
实现流程：由工作线程将日志信息交给异步线程 由异步线程实现落地

全局模式下的日志器都要放进日志器管理模块

7.日志器管理模块：管理全局的日志器
采用了单例模式
将全局模式的日志器都记录下来 再上层调用的时候根据日志器名调用对应日志器

8.缓冲区模块
与异步线程的信息交换
维护一片缓冲区 拥有数据写入和取出方法 安全模式下不扩容 极限测试模式下可以进行扩容

9.任志宏&全局接口模块
为了方便用户使用 还需要使用宏封装一个默认的日志器 根据等级直接落地日志
采用代理模式简化用户使用函数的成本 用户只需要传入日志消息本体就行

在这里插入图片描述
测试
环境
在云服务器下 1G内存 ubuntu 22 系统
写入五十万条日志 每条日志内容为50kb

单线程情况下
同步日志器模式 耗时1.7秒 平均29万条每秒
异步日志器安全模式 耗时2.06秒 大约24.2万条每秒
异步日志器极限测试模式 耗时2.65秒 大约18.8万条每秒
在这里插入图片描述
十个线程情况下
同步日志器模式 耗时1.3秒 平均38.2万条每秒
异步日志器安全模式 耗时1.04秒 大约48万条每秒
异步日志器极限测试模式 耗时1.04秒 大约48万条每秒
在这里插入图片描述
在这里插入图片描述

blue--lan
关注
  • 1
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Linux多线程服务端编程：使用muduo C++网络库
08-17
《Linux多线程服务端编程：使用muduo C++网络库》主要讲述采用现代C++在x86-64 Linux上编写多线程TCP网络服务程序的主流常规技术，重点讲解一种适应性较强的多线程服务器的编程模型，即one loop per thread。 目 录 第1部分C++ 多线程系统编程 第1章线程安全的对象生命期管理3 1.1当析构函数遇到多线程. . . . . . . . . . . . . . . . .. . . . . . . . . . . 3 1.1.1线程安全的定义. . . . . . . . . . . . . . . . .. . . . . . . . . . . 4 1.1.2MutexLock 与MutexLockGuard. . . . . . . . . . . . . . . . . . . . 4 1.1.3一个线程安全的Counter 示例.. . . . . . . . . . . . . . . . . . . 4 1.2对象的创建很简单. . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . 5 1.3销毁太难. . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . 7 1.3.1mutex 不是办法. . . . . . . . . . . . . . . . . . . .. . . . . . . . 7 1.3.2作为数据成员的mutex 不能保护析构.. . . . . . . . . . . . . . 8 1.4线程安全的Observer 有多难.. . . . . . . . . . . . . . . . . . . . . . . . 8 1.5原始指针有何不妥. . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . 11 1.6神器shared_ptr/weak_ptr . . . . . . . . . .. . . . . . . . . . . . . . . . 13 1.7插曲：系统地避免各种指针错误. . . . . . . . . . . . . . . . .. . . . . . 14 1.8应用到Observer 上.. . . . . . . . . . . . . . . . . . . . . . . . . . . . . 16 1.9再论shared_ptr 的线程安全.. . . . . . . . . . . . . . . . . . . . . . . . 17 1.10shared_ptr 技术与陷阱. . . .. . . . . . . . . . . . . . . . . . . . . . . . 19 1.11对象池. . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . 21 1.11.1enable_shared_from_this . . . . . . . . . . . . . . . . . . . . . . 23 1.11.2弱回调. . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . 24 1.12替代方案. . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . 26 1.13心得与小结. . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . 26 1.14Observer 之谬. . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . 28 第2章线程同步精要 2.1互斥器（mutex）. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 32 2.1.1只使用非递归的mutex . . . . . . . . . . . . . .. . . . . . . . . . 33 2.1.2死锁. . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . 35 2.2条件变量（condition variable）. . . . . . . . . .
muduo网络库：17---高效的多线程日志之（多线程异步日志、其他方案）
董哥的黑板报
03-25 1422
本文内容衔接于前一篇文章（日志概述、功能需求、性能需求）：https://blog.csdn.net/qq_41453285/article/details/105091022 一、多线程中的日志安全 多线程程序对日志库提出了新的需求：线程安全。即多个线程可以并发写日志，两个线程的日志消息不会出现交织 线程安全不难办到， 简单的办法是： 用一个全局mutex保护IO 或者每个线程单独写一...
C++类设计：一个比较复杂的日志类 支持多线程、文件切换、信息缓存（源码）
编程之道在明明德在亲民在止于至善
04-03 1473
C++类设计：一个比较复杂的日志类 支持多线程、文件切换、信息缓存（源码）
C++系统日志库精选：深入剖析glog与log4cplus，轻松搭建高效日志系统
探索C++编程的奥秘，分享深入的技术见解和实践，旨在激发读者创造力与解决问题的思维。
04-21 3404
C++日志系统精选：深入剖析glog与log4cplus，轻松搭建高效日志系统
【C++基于多设计模式下的同步&异步日志系统】
m0_68872612的博客
09-18 1528
从0到1教你学会第一个容易上手的C++项目
C++通用日志系统Logger
03-25
日志系统是成熟软件中的一个重要组成部分，其记录软件的使用和运行行为，方便事后进行故障分析、数据统计等。 本日志模块的主旨是提供一个基于Qt框架，简单易用、可拓展性好、支持多种输出目标和格式的底层日志库，方便上层调用。模块设计过程中参考了Log4j等软件，并结合C++特性，具有高度可拓展、使用灵活、高性能等优点。
C++: Log 日志系统（依赖库：Log4Cplus）
belien
03-20 3351
C++ Log 日志系统的设计与实现，推荐三方库 Log4cplus
【项目】C++ 基于多设计模式下的同步&异步日志系统
一点一点变好
03-13 1348
前言 一般而言，业务的服务都是周而复始的运行，当程序出现某些问题时，程序员要能够进行快速的修复，而修复的前提是要能够先定位问题。 因此为了能够更快的定位问题，我们可以在程序运行过程中记录一些日志，通过这些日志我们便能够很容易地了解程序的运行状态，以及程序崩溃时的一些信息，有了这些信息我们便能够更好的定位问题以及分析问题了。 本项目代码地址：日志系统 C++ 基于多设计模式下的同步&异步日志系统前言日志系统的必要性项目相关介绍1、功能2、开发环境和工具3、核心技术4、环境搭建日志系统技
C++设计实现日志系统
爱编程的鱼的博客
11-14 764
产品交付客户使用时，为了软件运行更快、客户体验更好，这时候就只需打印关键信息到日志文件了，因为过多的写文件会耗费大量时间，影响软件运行速度。里，但遗憾的是编译不通过，因为那个代码是用Visio Studio 2008写的，而Mutex是C++2011标准的内容，需要用支持该新标准的编译器，比如VS2012及以上版本。里，但遗憾的是编译不通过，因为那个代码是用Visio Studio 2008写的，而Mutex是C++2011标准的内容，需要用支持该新标准的编译器，比如VS2012及以上版本。
同步+异步日志系统（C++实现）
weixin_50437588的博客
01-01 4391
对于一个服务器而言，不论是在调试中还是在运行中，都需要通过打日志的方式来记录程序的运行情况。日志写入函数与工作线程串行执行，由于涉及到I/O操作，当单条日志比较大的时候，同步模式会阻塞整个处理流程，服务器所能处理的并发能力将有所下降，尤其是在峰值的时候，写日志可能成为系统的瓶颈。将所写的日志内容先存入中，写线程从阻塞队列中取出内容，写入日志。
HighPerformanceConcurrentServer:基于C++11、部分C++1417特性的一个高性能并发httpserver，包括日志、线程池、内存池、定时器、网络io、http、数据库连接等模块。模块间低耦合高内聚，可作为整体也可单独提供服务。对各模块提供单元测试，对httpserver整体提供性能测试
04-13
提供同步和异步日志，内存池使用哈希表、链表结合的管理，线程池支持任意任务参数和任务结果返回，定时器使用最小堆管理、支持多执行线程、支持在指定时间后执行任务、支持周期性执行任务、支持指定时间间隔重复执行...
JAVA上百实例源码以及开源项目源代码
12-11
Java编写的显示器显示模式检测程序 2个目标文件 内容索引:JAVA源码,系统相关,系统信息检测 用JAVA编写了一个小工具，用于检测当前显示器也就是显卡的显示模式，比如分辨率，色彩以及刷新频率等。 Java波浪文字制作...
JAVA上百实例源码以及开源项目
01-03
例如，容易实现协议的设计。 Java EJB中有、无状态SessionBean的两个例子 两个例子，无状态SessionBean可会话Bean必须实现SessionBean，获取系统属性，初始化JNDI，取得Home对象的引用，创建EJB对象，计算利息等；...
【C++模块实现】| 【08】循环覆盖写内存缓冲区（日志中多线程记录）
weixin_45926547的博客
08-01 930
循环缓冲区(也称为环形缓冲区)是固定大小的缓冲区，工作原理就像内存是连续的且可循环的一样；-在生成和使用内存时，不需将原来的数据全部重新清理掉，只要调整head/tail指针即可；-当添加数据时，head指针前进。当使用数据时，tail指针向前移动；-当到达缓冲区的尾部时，指针又回到缓冲区的起始位置；...
Linux多线程服务端编程：使用muduo C++网络库 学习笔记 第五章 高效的多线程日志
tus00000的博客
10-27 274
“日志（logging）”有两个意思： 1.诊断日志（diagnostic log）。即log4j、logback、slf4j、glog、g2log、log4cxx、log4cpp、log4cplus、Pantheios、ezlogger等常用日志库提供的日志功能。 2.交易日志（trasaction log）。即数据库的write-ahead log、文件系统的journaling等，用于记录状态变更，通过回放日志可以逐步恢复每一次修改之后的状态。 本章的“日志”是前一个意思，即文本的、供人阅读的日志，通
【小沐学C++】C++实现日志功能：log4cplus（Win10+VS2017）
热门推荐
爱看书的小沐
01-30 1万+
log4cplus 是一个简单易用的 C++ 日志 API，提供线程安全、灵活和任意粒度的日志管理和配置控制。它以 Java log4j API 为模型。
基于多设计模式下的同步&异步⽇志系统
m0_62807361的博客
07-29 749
本项⽬主要实现⼀个⽇志系统， 其主要⽀持以下功能:•⽀持多级别⽇志消息•⽀持同步⽇志和异步⽇志•⽀持可靠写⼊⽇志到控制台、⽂件以及滚动⽂件中•⽀持多线程程序并发写⽇志•⽀持扩展不同的⽇志落地⽬标地。
6.15 c语言
最新发布
jwh199694的博客
06-15 100
char类型的指针变量称为字符指针变量，字符指针变量与字符有着密切关系，他也被用来处理字符串。当一个字符指针指向一个字符串常量时，不能修改指针指向的对象的值。3、字符串常量//char *p = “welcome”;字符串常量不能被修改，因为存储在静态存储区//会发生段错误。初始化字符指针是把内存中字符串的首地址赋予指针。c语言通过使用字符数组来处理字符串。2、static局部变量。
c++设计模式 基于qt
02-06
C 设计模式在基于qt的应用中起着重要作用。Qt是一个跨平台的C++图形用户界面应用程序开发框架，通过其强大的功能和丰富的类库，能够帮助开发人员快速开发出高质量的应用程序。 在Qt中，设计模式可以帮助我们更好地...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值