[C++]——同步异步日志系统（7）

最新推荐文章于 2024-10-31 09:04:32 发布
最新推荐文章于 2024-10-31 09:04:32 发布
阅读量1.4k 收藏 21
点赞数 21
分类专栏： C++项目实战 文章标签： c++ javascript java
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/plj521/article/details/140293214
版权

同步异步日志系统

一、日志器管理模块（单例模式）

⽇志的输出，我们希望能够在任意位置都可以进⾏，但是当我们创建了⼀个⽇志器之后，就会受到⽇志器所在作⽤域的访问区域限制。 因此，为了突破访问区域的限制，我们创建⼀个⽇志器管理类，且这个类是⼀个单例类，这样的话， 我们就可以在任意位置来通过管理器单例获取到指定的⽇志器来进⾏⽇志输出了。

日志器管理器:
作用1:对所有创建的日志器进行管理
特性:将管理器设计为单例
作用2:可以在程序的任意位置，获取相同的单例对象，获取其中的日志器进行日志输出
拓展:单例管理器创建的时候，默认先创建一个日志器(用于进行标准输出的打印)
目的:让用户在不创建任何日志器的情况下，也能进行标准输出的打印，方便用户使用

设计:
管理的成员:

1.默认日志器
2.所管理的日志器数组
3.互斥锁

提供的接口:

1添加日志器管理
2.判断是否管理了指定名称的日志器
3.获取指定名称的日志器
4.获取默认日志器

1.1 对日志器管理器进行设计

    // 日志器管理模块
    class LoggerManager
    {
    public:
        // 1添加日志器管理
        void addLogger(Logger::ptr &logger);
        // 2.判断是否管理了指定名称的日志器
        bool hasLogger(const std::string &name);
        // 3.获取指定名称的日志器
        Logger::ptr getLogger(const std::string &name);
        // 4.获取默认日志器
        Logger::ptr rootLogger();
        // 5. 获取单例句柄
       static LoggerManager &getInstance();

    private:
        // 构造函数私有化
        LoggerManager() {}

    private:
        // 1.默认日志器
        Logger::ptr _root_logger;
        // 2.所管理的日志器数组
        std::vector<Logger::ptr> _loggers;
        // 3.互斥锁
        std::mutex _mutex;
    };

1.2 实现日志器管理类的各个功能

    // 日志器管理模块
    class LoggerManager
    {
    public:
        // 1添加日志器管理
        void addLogger(Logger::ptr &logger)
        {
            // 如果已经有了日志器，就不需要再添加
            if (hasLogger(logger->name()))
                return;
            std::unique_lock<std::mutex> lock(_mutex); // 添加日志器之前加锁
            _loggers.insert(std::make_pair(logger->name(), logger));
        }
        // 2.判断是否管理了指定名称的日志器
        bool hasLogger(const std::string &name)
        {
            std::unique_lock<std::mutex> lock(_mutex); // 判断之前加锁
            auto it = _loggers.find(name);             // 查找日志器
            if (it == _loggers.end())
            {
                // 代表没找到
                return false;
            }
            return true;
        }
        // 3.获取指定名称的日志器
        Logger::ptr getLogger(const std::string &name)
        {
            std::unique_lock<std::mutex> lock(_mutex); // 获取之前加锁
            auto it = _loggers.find(name);             // 查找日志器
            if (it == _loggers.end())
            {
                // 代表没找到，返回一个空的智能指针
                return Logger::ptr();
            }
            return it->second; // 日志器所对应的值
        }
        // 4.获取默认日志器
        Logger::ptr rootLogger()
        {
            return _root_logger;
        }
        // 5. 获取单例句柄
        static LoggerManager &getInstance()
        {
            // 在c++11之后，针对静态局部变量，编译器在编译的层面上实现了线程安全
            // 当静态局部变量在没有构造完成之前，其他的线程进入就会阻塞
            static LoggerManager eton;
            return eton;
        }

    private:
        // 构造函数私有化
        LoggerManager()
        {
            // 构造一个日志器建造者
            std::unique_ptr<logslearn::LoggerBuilder> builder(new logslearn::LocalLoggerBuilder());
            builder->buildLoggerName("root");
            _root_logger = builder->build(); // 建造者构建对象，没有建造的就用默认对象
            // 把默认构造的日志器管理起来
            _loggers.insert(std::make_pair("root", _root_logger));
        }

    private:
        // 1.默认日志器
        Logger::ptr _root_logger;
        // 2.所管理的日志器
        std::unordered_map<std::string, Logger::ptr> _loggers;
        // 3.互斥锁
        std::mutex _mutex;
    };

1.3. 设计一个全局的日志器建造者

在局部的日志器建造者上增加一个功能：将日志器添加到单例对象中

    //设计一个全局的日志器建造者-在局部的日志器建造者上增加一个功能：将日志器添加到单例对象中
    class GlobalLoggerBuilder : public LoggerBuilder
    {
    public:
        Logger::ptr build() override
        {
            // 必须要有日志器名称
            assert(_logger_name.empty() == false);
            // 必须要有formatter//必须要有格式化器，没有就要创建
            if (_formatter.get() == nullptr)
            {
                _formatter = std::make_shared<Formatter>();
            }
            // 如果没有落地方式就给它添加一个标准输出的默认落地方式
            if (_sliks.empty())
            {
                buildSink<StdoutSink>();
            }
            //默认日志器
            Logger::ptr logger;
             // 如果类型为LOGGER_ASYNC，那么日志器为异步日志器
            if (logger_type == LoggerType::LOGGER_ASYNC)
            {
                // 返回异步日志器对象
                logger=std::make_shared<AsyncLogger>(_logger_name, _limit_level, _formatter, _sliks, _looper_type);
            }else{
                // 返回同步日志器的对象
                logger=std::make_shared<SyncLogger>(_logger_name, _limit_level, _formatter, _sliks); // r日志器名字，等级，格式化，落地方式
            }
            
            //把日志器添加到日志器管理器中
            LoggerManager::getInstance().addLogger(logger);
            // 返回同步日志器的对象
            return logger;
        }
    };

1.4 测试日志器管理器的接口和全局建造者类

在main函数里创建日志器，在普通函数里写日志。

// 测试代码
#include "util.hpp"
#include "level.hpp"
#include "message.hpp"
#include "format.hpp"
#include "sink.hpp"
#include "logger.hpp"
#include <unistd.h>
#include "buffer.hpp"
#include "looper.hpp"
#include <fstream>

void test_log(){
    //日志器管理器
    logslearn::Logger::ptr logger=logslearn::LoggerManager::getInstance().getLogger("async_logger");
    //测试日志打印
    logger->debug(__FILE__, __LINE__, "%s", "测试日志");
    logger->info(__FILE__, __LINE__, "%s", "测试日志");
    logger->warn(__FILE__, __LINE__, "%s", "测试日志");
    logger->error(__FILE__, __LINE__, "%s", "测试日志");
    logger->fatal(__FILE__, __LINE__, "%s", "测试日志");
    size_t count = 0;
    while (count < 100000)
    {
        logger->fatal(__FILE__, __LINE__, "测试日志-%d", count++);
    }


}
int main()
{  
    //测试日志器管理模块
    //先要构造一个建造者出来
    //全局建造者构造日志器
    std::unique_ptr<logslearn::LoggerBuilder> builder(new logslearn::GlobalLoggerBuilder());
    //建造者构建零部件
    builder->buildLoggerName("async_logger");
    builder->buildLoggerLevel(logslearn::loglevel::value::WARN);
    builder->buildLoggerFormatter("[%d{%H:%M:%S}][%t][%c][%f:%l][%p]%T%m%n");
    builder->buildLoggerType(logslearn::LoggerType::LOGGER_ASYNC);
    builder->buildEnabeUnSafeAsync();//切换模式
    builder->buildSink<logslearn::StdoutSink>();                                 // 标准输出落地
    builder->buildSink<logslearn::FileSink>("./logfile/async.log"); // 文件落地方式
   
    builder->build();
    // builder->buildSink<logslearn::RoolBySizeSink>("./logfile/roll-", 1024 * 1024); // 滚动文件落地方式
    test_log();

    return 0;
}

二、宏函数和全局接口设计

提供全局接口&宏函数， 对日志系统接口，进行使用便捷性优化

思想：

1.提供获取指定日志器的全局接口（避免用户自己操作单例对象）
2.使用宏函数对日志器的接口进行代理（代理模式）
3.提供宏函数，直接通过默认日志器进行日志的标准输出打印（不要获取日志器了）

2.1 新建一个.h,文件,文件里面放我们写的.hpp(各个模块文件)

方便外界使用者进行调用

#ifndef __M_LOGSLEARN_H__
#define __M_LOGSLEARN_H__
#include "util.hpp"
#include "level.hpp"
#include "message.hpp"
#include "format.hpp"
#include "sink.hpp"
#include "logger.hpp"
#include <unistd.h>
#include "buffer.hpp"
#include "looper.hpp"
#include <fstream>
namespace logslearn
{
    //  1.提供获取指定日志器的全局接口（避免用户自己操作单例对象）
    Logger::ptr getLogger(const std::string &name) // 指定日志器
    {
        return logslearn::LoggerManager::getInstance().getLogger(name);
    }
    Logger::ptr rootLogger() // 默认日志器
    {
        return logslearn::LoggerManager::getInstance().rootLogger();
    }
//  2.使用宏函数对日志器的接口进行代理（代理模式）
#define debug(fmt, ...) debug(__FILE__, __LINE__, fmt, ##__VA_ARGS__)
#define info(fmt, ...) info(__FILE__, __LINE__, fmt, ##__VA_ARGS__)
#define warn(fmt, ...) warn(__FILE__, __LINE__, fmt, ##__VA_ARGS__)
#define error(fmt, ...) error(__FILE__, __LINE__, fmt, ##__VA_ARGS__)
#define fatal(fmt, ...) fatal(__FILE__, __LINE__, fmt, ##__VA_ARGS__)
//  3.提供宏函数，直接通过默认日志器进行日志的标准输出打印（不要获取日志器了）
// 方法1
// #define DEBUG(logger,fmt,...) logger->denug(fmt,##__VA_ARGS__)
// #define DLOG(fmt,...)  DEBUG(rootLogger(),fmt,##__VA_ARGS__)   //变成_root_logger->debug(fmt,...)
// 方法2
#define DEBUG(fmt, ...) logslearn::rootLogger()->debug(fmt, ##__VA_ARGS__)
#define INFO(fmt, ...) logslearn::rootLogger()->info(fmt, ##__VA_ARGS__)
#define WARN(fmt, ...) logslearn::rootLogger()->warn(fmt, ##__VA_ARGS__)
#define ERROR(fmt, ...) logslearn::rootLogger()->error(fmt, ##__VA_ARGS__)
#define FATAL(fmt, ...) logslearn::rootLogger()->fatal(fmt, ##__VA_ARGS__)

}

#endif

通过两套宏函数，简化了用户对日志的输出工作

2.2 对宏函数与全局接口进行功能测试

测试一：测试第一组宏是否正确
输出打印的结果符合我们的预期
在这里插入图片描述
测试二：对宏函数与全局接口进行测试

可以自定义格式按要求进行输出，需要自己去创建日志器（这里是吧日志打印到文件和屏幕两种落地方法）

// 测试代码
#include "logslearn.h"
void test_log(){
   // //日志器管理器
    logslearn::Logger::ptr logger=logslearn::LoggerManager::getInstance().getLogger("async_logger");
    //测试日志打印
    logger->debug( "%s", "测试日志");
    logger->info( "%s", "测试日志");
    logger->warn( "%s", "测试日志");
    logger->error( "%s", "测试日志");
    logger->fatal("%s", "测试日志");
    size_t count = 0;
    while (count < 100000)
    {
        logger->fatal( "测试日志-%d", count++);
    }
}
int main()
{
    
    //全局建造者构造日志器
    std::unique_ptr<logslearn::LoggerBuilder> builder(new logslearn::GlobalLoggerBuilder());
    //建造者构建零部件
    builder->buildLoggerName("async_logger");
    builder->buildLoggerLevel(logslearn::loglevel::value::WARN);
    builder->buildLoggerFormatter("[%d{%H:%M:%S}][%t][%c][%f:%l][%p]%T%m%n");
    builder->buildLoggerType(logslearn::LoggerType::LOGGER_ASYNC);
    builder->buildEnabeUnSafeAsync();//切换模式
    builder->buildSink<logslearn::StdoutSink>();                                 // 标准输出落地
    builder->buildSink<logslearn::FileSink>("./logfile/async.log"); // 文件落地方式
   
    builder->build();
    // builder->buildSink<logslearn::RoolBySizeSink>("./logfile/roll-", 1024 * 1024); // 滚动文件落地方式
    test_log();

    return 0;
}

在这里插入图片描述

日志器是以默认的格式向屏幕输出

// 测试代码
#include "logslearn.h"
void test_log(){
    //测试日志打印
    DEBUG("%s", "测试日志");//注意，宏替换过后命名空间就没了
    INFO("%s", "测试日志");
    WARN("%s", "测试日志");
    ERROR("%s", "测试日志");
    FATAL("%s", "测试日志");
    size_t count = 0;
    while (count < 100000)
    {
        FATAL("测试日志-%d", count++);
    }
}
int main()
{
    test_log();
    return 0;
}

在这里插入图片描述

经过10来天的奋战，终于吧同步异步日志系统写完了。

一个小脑袋
关注
专栏目录
一个轻巧高效的多线程c++stream风格异步日志(二)
weixin_30553065的博客
09-05 271
目录 一个轻巧高效的多线程c++stream风格异步日志(二) 前言 LogFile类 AsyncLogging类 AsyncLogging实现 增加备用缓存 结语 一个轻巧高效的多线程c++strea...
logger(一)：C++ & logger模块配置及开发
wentianyao的专栏
01-12 2795
该logger模块是一种本地缓存形式的logger处理方法：用于相关软件开发过程中的日志记录；适用于windows和linux Linux下的主要使用的是syslog-ng库
C++实现一个异步日志库
Lion_Long的博客
05-05 1497
在工作线程中，我们使用std::unique_lock和std::condition_variable来实现线程安全的队列操作，并不断地循环处理队列中的消息，直到队列为空或者程序退出为止。异步日志：应用程序将日志消息发送到一个缓存队列中，日志系统从队列中读取日志消息并将其写入磁盘。另外，异步日志库通常也提供了丰富的日志级别和过滤功能，可以让开发人员方便地控制日志输出量和质量，从而更好地进行调试和排错工作。异步日志和同步日志是指在写入日志时，日志系统和应用程序之间的交互方式不同。
【项目】C++ 基于多设计模式下的同步&异步日志系统
一点一点变好
03-13 1679
前言 一般而言，业务的服务都是周而复始的运行，当程序出现某些问题时，程序员要能够进行快速的修复，而修复的前提是要能够先定位问题。 因此为了能够更快的定位问题，我们可以在程序运行过程中记录一些日志，通过这些日志我们便能够很容易地了解程序的运行状态，以及程序崩溃时的一些信息，有了这些信息我们便能够更好的定位问题以及分析问题了。 本项目代码地址：日志系统 C++ 基于多设计模式下的同步&异步日志系统前言日志系统的必要性项目相关介绍1、功能2、开发环境和工具3、核心技术4、环境搭建日志系统技
[C++]——同步异步日志系统（3）
plj521的博客
07-10 1716
从本篇开始，正式开始写同步异步日志系统
Log4j for C++ 实用指南
GitChat
07-01 4220
课程介绍 日志是一个优秀系统不可或缺的组成部分，利用它我们可以记录系统中所产生的所有行为。 对于很多人来说，日志的作用仅限于调试。其实不然，它在很多方面都非常有用： 日志是最好的的诊断工具； 日志让我们有机会检测模块的瓶颈； 日志有助于我们了解用户行为； …… 在编写代码时，使用日志框架是一种很好的实践。即使像《代码整洁之道》这样的书籍，也建议学习像 Log4j 这样的框架进行日志记录。 本达...
C++高性能服务器框架——日志系统详解
Linuxhus的博客
08-12 2097
1|0日志文件系统 对文件系统进行修改时，需要进行很多操作。这些操作可能中途被打断，也就是说，这些操作不是“不可中断”(atomic)的。如果操作被打断，就可能造成文件系统出现不一致的状态。 例如：删除文件时，先要从目录树中移除文件的标示，然后收回文件占用的空间。如果在这两步之间操作被打断，文件占用的空间就无法收回。文件系统认为它是被占用的，但实际上目录树中已经找不到使用它的文件了。 在非日志文件系统中，要检查并修复类似的错误必须对整个文件系统的数据结构进行检查。这个操作可能会花费很长的时间。 为了
C++实现生产者-消费者高效异步日志系统源码
06-13
在这个场景下，"C++实现生产者-消费者高效异步日志系统源码"的标题表明我们将讨论一个基于C++编写的日志系统，它运用了生产者-消费者模型来实现高效的日志记录功能。 首先，日志系统是任何复杂软件系统的重要组成...
Qt/C++中的异步编程
qq_41898196的博客
06-11 1169
异步编程是现代应用程序开发中不可或缺的一部分。它允许程序在执行耗时任务时保持响应性，特别是在GUI应用程序中。在Qt/C++中，有多种方式来实现异步编程。本文将重点介绍如何使用Qt中的QtConcurrent库，Qml中ES6标准的Promise还有C++标准库std::future，std::promise进行异步编程，并讲解他们之间的区别。
muduo源码学习（1）：异步日志——日志消息的存储及输出
HerofH_的博客
11-25 1360
目录 前言 日志存储的实现 日志输出的实现 总结 前言 muduo中的日志，是诊断日志。用于将代码运行时的重要信息进行保存，方便故障诊断和追踪。 日志一般有两种，一种是同步日志，一种是异步日志，同步日志就是当需要写出一条日志信息的时候，只有等到这条日志消息完全写出之后才能执行后续的程序，可见，这种方式的日志的问题就在于程序可能会阻塞在磁盘写入操作上； ...
【C++ 项目设计】通过C++ 实现Qt的信号槽机制
探索C++编程的奥秘，分享深入的技术见解和实践，旨在激发读者创造力与解决问题的思维。
01-12 327
Qt的信号槽机制以其强大的解耦合和灵活性而闻名。通过在STL中实现这一机制，我们可以为不使用Qt框架的项目提供相同级别的解耦合和灵活性。这种解耦合使得代码的各个部分可以独立变化和扩展，而不会对其他部分产生影响，从而提高了整个项目的可维护性和可扩展性。
C++ 日志框架总结
xupeng1644的博客
06-04 2026
这么多年自己还真没怎么写过日志框架，都是用的第三方库，用过Log4Cpp、spdlog、muduo中的日志部分。 想自己总结下，又发现了一篇分析极为到位的C++日志框架总结：一文详解C++日志框架，遂放弃自己动手的想法，奉行拿来主义。 CSDN地址为https://blog.csdn.net/liang19890820/article/details/109153251。 wexin公众号地址为：https://mp.weixin.qq.com/s/92JNr29Px0TORsJqh3KjmQ。 ...
线程池web服务器(8) 日志系统(条件变量，单例模式，阻塞队列)
ziggy7的博客
06-22 1576
整体概述 本项目中，使用单例模式创建日志系统，对服务器运行状态、错误信息和访问数据进行记录，该系统可以实现按天分类，超行分类功能，可以根据实际情况分别使用同步和异步写入两种方式。 其中异步写入方式，将生产者-消费者模型封装为阻塞队列，创建一个写线程，工作线程将要写的内容push进队列，写线程从队列中取出内容，写入日志文件。 日志系统大致可以分成两部分，其一是单例模式与阻塞队列的定义，其二是日志类的定义与使用。 基础知识 ●日志，由服务器自动创建，并记录运行状态，错误信息，访问数据的文件。 ●同步日志，日志写
你所不知道的日志异步落库
weixin_34226706的博客
06-17 313
在互联网设计架构过程中，日志异步落库，俨然已经是高并发环节中不可缺少的一环。为什么说是高并发环节中不可缺少的呢？ 原因在于，如果直接用mq进行日志落库的时候，低并发下，生产端生产数据，然后由消费端异步落库，是没有什么问题的，而且性能也都是异常的好，估计tp99应该都在1ms以内。但是一旦并发增长起来，慢慢的你就发现生产端的tp99一直在增长，从1ms，变为2ms，4ms，直至send timeou...
每秒百万级高效C++异步日志实践
热门推荐
LeechanX
06-08 2万+
每秒百万级高效C++异步日志实践 RING LOG是一个适用于C++的异步日志， 其特点是效率高（实测每秒支持125+万日志写入）、易拓展，尤其适用于频繁写日志的场景
C++开源日志库选择
拥抱变化
11-08 1万+
每个系统都需要日志记录，通过日志方便排错调试，管理运行时的异常。 而C++开源的日志库，待选的有 glog、log4cplus、log4cpp、log4cxx 目前准备使用glog，使用方便，性能也不错，待进一步试验，如果有不能满足的功能就转用 log4cplus，功能很全面，不过稍复杂些。 其它两个都是三年前就没更新，没好感，暂不准备使用。 1.log4cplus
一个轻巧高效的多线程c++stream风格异步日志(一)
weixin_30699463的博客
08-24 463
一个轻巧高效的多线程c++stream风格异步日志一个轻巧高效的多线程c++stream风格异步日志前言功能需求性能需求Logger实现LogStream类Logger类LogStream及Logger cpp源码前言本文主要实现muduo的异步日志.省去boost库中特性的引用,轻巧简洁。对于编程而言,日志是必不可少的,对于关键进程,日志通常需要记录：1.收到的每条内部消息id.2.收到的每...
第八天: C语言深度探索：指针与函数的奥秘
最新发布
qq_57484399的博客
10-31 332
通过今天的学习，我们了解了字符指针和字符串在C语言中的处理方式。希望大家能够掌握这些基本概念，并在实际编程中灵活运用。好了，今天的课就到这里。希望大家能够掌握指针与函数参数的关系，以及如何通过指针来改变外部变量的值。如果有任何问题，或者想要更多的练习题，随时告诉我。下课！好了，今天的课就到这里。希望大家能够掌握数组名作为函数参数的用法，以及如何通过函数来处理数组。如果有任何问题，或者想要更多的练习题，随时告诉我。下课！好了，今天的课就到这里。
C++设计模式实现同步与异步系统解析
异步日志系统在同步异步系统中起着至关重要的作用，它能够有效地将日志信息以异步方式写入存储介质，减少对主要业务流程的性能影响，提高系统的整体吞吐量。 学习这样一个资源，不仅可以加深对C++编程语言的理解，...
评论 5
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值