日志模型

最新推荐文章于 2023-02-09 17:11:58 发布
最新推荐文章于 2023-02-09 17:11:58 发布
阅读量822 收藏 1
点赞数 1
分类专栏： thread 文章标签： C++ 日志 thread
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u012778714/article/details/80557596
版权

上一篇中我们将C++11的线程做了简单的封装，再加上消息队列组成了一个带有消息循环的线程模型。这篇中我们通过继承上一篇说的类，来实现一个服务器程序常用的组件，日志模块。不论是服务器程序还是客户端程序，详细的日志输出都是定位问题的有利工具，一个好的日志模块对服务器程序来说尤为重要，我们需要在书写日志的时候保证不影响或者最小的影响服务器的性能。这里我通过建立一个新的线程来书写日志，用内存池来管理投递消息所需要占用的内存，其他线程只需投递任务而避免了磁盘IO。从而避免了逻辑线程的性能损耗。
首先我们先定义日志的输出级别，这个早有先例：

enum LogLevel {
    LOG_DEBUG_LEVEL     = 1,
    LOG_INFO_LEVEL      = 2,
    LOG_WARN_LEVEL      = 3,
    LOG_ERROR_LEVEL     = 4,
    LOG_FATAL_LEVEL     = 5,
};

在消息队列中投递需要写的char*字符串，这里为了更好的支持消息格式，需要用的C的多参数传递：

    void LogDebug(const char* file, int line, const char* log...);
    void LogInfo(const char* file, int line, const char* log...);
    void LogWarn(const char* file, int line, const char* log...);
    void LogError(const char* file, int line, const char* log...);
    void LogFatal(const char* file, int line, const char* log...);

在其他线程投递日志的时候调用类似与print函数，还是相当友好的API。下面这个函数解析传进来的消息内容，将日志格式化到一个从内存池中申请的连续地址中，投递到消息队列中。这里有点问题就是这些操作都是在投递日志的线程中执行的，也可以将这个步骤投递到消息队列中让日志线程去执行这个过程。究竟是将这个过程集中到日志线程中还是分摊到逻辑线程中这个可能需要考虑实际的应用的情况。为了更 好的定位问题，我们日志输出的时候需要带上文件和打印时间。_timer是对C++11的时间封装，下一篇会讲。

void CLog::_PushFormatLog(const char* file, int line, char* level, const char* log, va_list list) {
    _time.Now();

    char* time = _pool.PoolMalloc<char>(32);
    _time.GetFormatTime(time, 32);
    char* log_str =_pool.PoolLargeMalloc<char>();
    int curlen = snprintf(log_str, __log_buf_size, "[%s:%s-%s:%d] ", time, level, file, line);
    _pool.PoolFree(time, 32);

    if (curlen < 0) {
        strcpy(log_str, "...Log format error!");

    } else {
        vsnprintf(log_str + curlen, __log_buf_size - curlen, log, list);
    }
    Push(log_str);
}

此外我们还需要一个机制来检测日期，将日志分开日期的打印存储到磁盘上。

void CLog::_CheckDateFile() {
    if (_cur_date != _time.GetDate()) {
        _cur_date = _time.GetDate();
        if (_log_file.is_open()) {
            _log_file.close();
        }

        std::string file_name = _file_name.append(".");
        file_name.append(_time.GetDateStr());
        file_name.append(".log");

        _log_file.open(file_name.c_str(), std::ios::app | std::ios::out);
    }
}

我们一个程序中最多需要一个日志线程，所以日志对象最好是一个单例，这样也极大的方便了其他线程投递时的调用，这里我们再写一个辅助的类来实现单例：

#ifndef HEADER_SINGLE
#define HEADER_SINGLE

template<typename T>
class CSingle
{
private:
    CSingle(const CSingle&);
    CSingle& operator = (const CSingle&);
public:
    CSingle() {}
    virtual ~CSingle() {}

    static T& Instance() {
        static T instance;
        return instance;
    }
};
#endif

这样其他线程调用的时候类似这样：

CLog::Instance().LogFatal(__FILE__, __LINE__, "%s", "there is a error");

还是不够友好，我们再对结构封装一次，从而让调用者只关心和自己有关的日志内容，其他的一概不管：

#define LOG_DEBUG(log, ...)         CLog::Instance().LogDebug(__FILE__, __LINE__, log, ##__VA_ARGS__);
#define LOG_INFO(log, ...)          CLog::Instance().LogInfo(__FILE__, __LINE__, log, ##__VA_ARGS__);
#define LOG_WARN(log, ...)          CLog::Instance().LogWarn(__FILE__, __LINE__, log, ##__VA_ARGS__);
#define LOG_ERROR(log, ...)         CLog::Instance().LogError(__FILE__, __LINE__, log, ##__VA_ARGS__);
#define LOG_FATAL(log, ...)         CLog::Instance().LogFatal(__FILE__, __LINE__, log, ##__VA_ARGS__);

这样一来就干净干练了很多~~
下面是测试使用代码：

#include "Time.h"
#include "Log.h"
int main() {
    CLog::Instance().Start();
    CLog::Instance().SetLogName("test");
    CLog::Instance().SetLogLevel(LOG_DEBUG_LEVEL);

    LOG_DEBUG("%s", "it is a debug log");
    CRunnable::Sleep(1000);
    LOG_INFO("%s", "it is a info log");
    CRunnable::Sleep(1000);
    LOG_WARN("%s", "it is a warn log");
    CRunnable::Sleep(1000);
    LOG_ERROR("%s", "it is a error log");
    CRunnable::Sleep(1000);
    LOG_FATAL("%s", "it is a fatal log");
    CRunnable::Sleep(1000);

    CLog::Instance().Stop();
    CLog::Instance().Join();
    int a = 0;
    a++;
}

贴点测试时的日志打印：

[2018 07 05-07:15:05:DEBUG-/root/projects/LinuxCppNet/net/linux/CEpoll.cpp:271] modify a event to epoll, event flag: 2, sock : 9
[2018 07 05-07:15:05:DEBUG-/root/projects/LinuxCppNet/net/linux/CEpoll.cpp:288] reset one shot, event flag: 2, sock : 9
[2018 07 05-07:15:05:DEBUG-/root/projects/LinuxCppNet/net/linux/CEpoll.cpp:199] epoll_wait get events! num :1, TheadId : 1323493120
[2018 07 05-07:15:05:DEBUG-/root/projects/LinuxCppNet/net/linux/CEpoll.cpp:271] modify a event to epoll, event flag: 1, sock : 9
[2018 07 05-07:15:05:DEBUG-/root/projects/LinuxCppNet/net/linux/CEpoll.cpp:288] reset one shot, event flag: 1, sock : 9
[2018 07 05-07:15:05:DEBUG-/root/projects/LinuxCppNet/net/linux/CEpoll.cpp:199] epoll_wait get events! num :1, TheadId : 1323493120
[2018 07 05-07:15:05:ERROR-/root/projects/LinuxCppNet/net/linux/Socket.cpp:251] event->_event_flag_set : 1
[2018 07 05-07:15:05:DEBUG-/root/projects/LinuxCppNet/net/NetObject.cpp:204] err: 257
[2018 07 05-07:15:05:DEBUG-/root/projects/LinuxCppNet/net/linux/CEpoll.cpp:288] reset one shot, event flag: 2, sock : 9
[2018 07 05-07:15:05:DEBUG-/root/projects/LinuxCppNet/net/linux/CEpoll.cpp:199] epoll_wait get events! num :1, TheadId : 1323493120
[2018 07 05-07:15:05:DEBUG-/root/projects/LinuxCppNet/net/linux/CEpoll.cpp:288] reset one shot, event flag: 1, sock : 9
[2018 07 05-07:15:05:DEBUG-/root/projects/LinuxCppNet/net/linux/CEpoll.cpp:199] epoll_wait get events! num :1, TheadId : 1323493120
[2018 07 05-07:15:05:ERROR-/root/projects/LinuxCppNet/net/linux/Socket.cpp:251] event->_event_flag_set : 1
[2018 07 05-07:15:05:DEBUG-/root/projects/LinuxCppNet/net/NetObject.cpp:204] err: 257
[2018 07 05-07:15:05:DEBUG-/root/projects/LinuxCppNet/net/linux/CEpoll.cpp:288] reset one shot, event flag: 2, sock : 9
[2018 07 05-07:15:05:DEBUG-/root/projects/LinuxCppNet/net/linux/CEpoll.cpp:199] epoll_wait get events! num :1, TheadId : 1323493120
[2018 07 05-07:15:05:DEBUG-/root/projects/LinuxCppNet/net/linux/CEpoll.cpp:288] reset one shot, event flag: 1, sock : 9
[2018 07 05-07:15:05:DEBUG-/root/projects/LinuxCppNet/net/linux/CEpoll.cpp:199] epoll_wait get events! num :1, TheadId : 1323493120
[2018 07 05-07:15:05:ERROR-/root/projects/LinuxCppNet/net/linux/Socket.cpp:251] event->_event_flag_set : 1
[2018 07 05-07:15:05:DEBUG-/root/projects/LinuxCppNet/net/NetObject.cpp:204] err: 257
[2018 07 05-07:15:05:DEBUG-/root/projects/LinuxCppNet/net/linux/CEpoll.cpp:288] reset one shot, event flag: 2, sock : 9
[2018 07 05-07:15:05:DEBUG-/root/projects/LinuxCppNet/net/linux/CEpoll.cpp:199] epoll_wait get events! num :1, TheadId : 1323493120
[2018 07 05-07:15:05:DEBUG-/root/projects/LinuxCppNet/net/linux/CEpoll.cpp:288] reset one shot, event flag: 1, sock : 9
[2018 07 05-07:15:05:DEBUG-/root/projects/LinuxCppNet/net/linux/CEpoll.cpp:199] epoll_wait get events! num :1, TheadId : 1323493120
[2018 07 05-07:15:05:ERROR-/root/projects/LinuxCppNet/net/linux/Socket.cpp:251] event->_event_flag_set : 1
[2018 07 05-07:15:05:DEBUG-/root/projects/LinuxCppNet/net/NetObject.cpp:204] err: 257
[2018 07 05-07:15:05:DEBUG-/root/projects/LinuxCppNet/net/linux/CEpoll.cpp:288] reset one shot, event flag: 2, sock : 9
[2018 07 05-07:15:05:DEBUG-/root/projects/LinuxCppNet/net/linux/CEpoll.cpp:199] epoll_wait get events! num :1, TheadId : 1323493120
[2018 07 05-07:15:05:DEBUG-/root/projects/LinuxCppNet/net/linux/CEpoll.cpp:288] reset one shot, event flag: 1, sock : 9
[2018 07 05-07:15:05:DEBUG-/root/projects/LinuxCppNet/net/linux/CEpoll.cpp:199] epoll_wait get events! num :1, TheadId : 1323493120
[2018 07 05-07:15:05:ERROR-/root/projects/LinuxCppNet/net/linux/Socket.cpp:251] event->_event_flag_set : 1
[2018 07 05-07:15:05:DEBUG-/root/projects/LinuxCppNet/net/NetObject.cpp:204] err: 257

最后是源码地址：
GitHub:https://github.com/caozhiyi/Base

constCpp
关注
专栏目录
AI系统日志管理原理与代码实战案例讲解
程序员光剑
06-19 906
AI系统日志管理原理与代码实战案例讲解 1.背景介绍 在现代软件开发中，日志管理是一个至关重要的环节。特别是在人工智能（AI）系统中，日志不仅仅是记录系统运行状态的工具，更是调试、优化和监控系统性能的关键手段。AI系统的复杂性和数据密集型特性使得日志管理变得尤为重要。通过有效的日志管理
AI系统日志分析原理与代码实战案例讲解
最新发布
AI架构设计之禅
06-19 1200
AI系统日志分析原理与代码实战案例讲解 1.背景介绍 在现代信息技术的飞速发展中，系统日志分析已经成为保障系统稳定性和安全性的重要手段。系统日志记录了系统运行过程中的各种事件和状态信息，通过对这些日志的分析，可以发现系统潜在的问题、优化系统性能、提升安全性。随着人工智能技术的进步，AI
UML建模日志
12-23
包含三个文档，UML时序图，UML类图；UML用例图的使用。非常的详细。架构师必备。
我的日志模型
woming66的专栏
05-20 152
[code="java"] package com.zzq.logging; /** * 公共日志模型接口 * @author zzq * */ public interface Log { public void warn(String msg); public void error(String msg); public void erro...
日志中心实践-日志模型设计
学无止境
02-09 528
此数据模型定义了独立日志记录是什么，需要记录、传输、存储和解释那些数据。
日志建模与分析-统计方法
weixin_34365417的博客
05-15 394
# -*- coding:UTF-8 -*-"""access_log 建模:根据request长度来生成白名单(基于统计的方法)第一阶段：训练阶段 application profiling分析对象：access log分析方法：(1) 去重(2) 筛掉响应码为4xx,5xx的请求 （或者选择2xx，3xx的请求）(3) 筛掉静态资源请求第二阶段：检测阶段on-line l...
.net core 路由原理
dabusidede的博客
12-02 771
word文档地址：https://github.com/IceEmblem/-/tree/master/%E5%AD%A6%E4%B9%A0%E8%B5%84%E6%96%99/Windows%20%E5%B9%B3%E5%8F%B0/NetCore/.net%20core/.net%20core%20%E6%A1%86%E6%9E%B6%E8%AE%BE%E8%AE%A1%E5%8E%9F%E7%90%86 参考文章：https://www.cnblogs.com/artech/p/inside-asp-
基于知识图谱驱动的网络安全等级保护日志审计分析模型研究.pdf
09-20
为了应对这些挑战，基于知识图谱的网络安全等级保护日志审计分析模型应运而生。 知识图谱是一种可用于表达实体、概念及其相互关系的图形化结构，它能够将结构化数据和非结构化数据有机地结合起来，通过图模型的方式...
PatchmatchNet多次训练好的模型 和 训练日志 checkpoints
08-21
PatchmatchNet多次训练好的模型 和 训练日志 checkpoints PatchmatchNet多次训练好的模型 和 训练日志 checkpoints PatchmatchNet多次训练好的模型 和 训练日志 checkpoints PatchmatchNet多次训练好的模型 和 训练...
【分享】高性能日志组件（C++）
08-14
/****************************************************************************** Module: VC-Logger Purpose: 记录程序日志。 1. 把日志信息输出到指定文件 2. 对于 GUI 程序，可以把日志信息发送到指定窗口 3. 对于Console应用程序，可以把日志信息发往标准输出 (std::cout) Desc: 1、功能： -------------------------------------------------------------------------------------- a) 把日志信息输出到指定文件 b) 每日生成一个日志文件 c) 对于 GUI 程序，可以把日志信息发送到指定窗口 d) 对于Console应用程序，可以把日志信息发往标准输出 (std::cout) e) 支持 MBCS / UNICODE，Console / GUI，win32 / x64 程序 f) 支持动态加载和静态加载日志组件 DLL g) 支持 DEBUG/TRACE/INFO/WARN/ERROR/FATAL 等多个日志级别 2、可用性： -------------------------------------------------------------------------------------- a) 简单纯净：不依赖任何程序库或框架 b) 使用接口简单，不需复杂的配置或设置工作 c) 提供 CStaticLogger 和 CDynamicLogger 包装类用于静态或动态加载以及操作日志组件，用户无需关注加载细节 d) 程序如果要记录多个日志文件只需为每个日志文件创建相应的 CStaticLogger 或 CDynamicLogger 对象 e) 只需调用 Log()/Debug()/Trace()/Info()/Warn()/Error()/Fatal() 等方法记录日志 f) 日志记录方法支持可变参数 g) 日志输出格式： 3、性能： -------------------------------------------------------------------------------------- a) 支持多线程同时发送写日志请求 b) 使用单独线程在后台写日志，不影响工作线程的正常执行 c) 采用批处理方式批量记录日志 Usage: 方法一：（静态加载 Logger DLL） -------------------------------------------------------------------------------------- 0. 应用程序包含 StaticLogger.h 头文件 1. 创建 CStaticLogger 对象（通常为全局对象） 2. 调用 CStaticLogger->Init(...) 初始化日志组件 3. 使用 CStaticLogger->Log()/Debug()/Trace()/Info()/Warn()/Error()/Fatal() 等方法写日志 4. 调用 CStaticLogger->UnInit(...) 清理日志组件（CStaticLogger 对象析构时也会自动清理日志组件） 方法二：（动态加载 Logger DLL） -------------------------------------------------------------------------------------- 0. 应用程序包含 DynamicLogger.h 头文件 1. 创建 CDynamicLogger 对象（通常为全局对象） 2. 调用 CDynamicLogger->Init(...) 初始化日志组件 3. 使用 CDynamicLogger->Log()/Debug()/Trace()/Info()/Warn()/Error()/Fatal() 等方法写日志 4. 调用 CDynamicLogger->UnInit(...) 清理日志组件（CDynamicLogger 对象析构时也会自动清理日志组件） 方法三：（直接用导出函数加载 Logger DLL） -------------------------------------------------------------------------
慢日志平台的模型设计
杨建荣的学习笔记
03-18 200
这是学习笔记的第1922篇文章 最近把慢日志的流程做了下梳理，其实这个体系已经是比较清晰了，不过我的设计思路和行业里使用的慢日志方案有一些不同。我会给出一些这么设计...
03-05 管理员 登录日志 操作日志数据模型设计
一越王超的博客
07-31 646
评论和收藏数据模型 评论数据模型 定义评论数据模型 # 评论模型 class Comment(db.Model): __tablename__ = "comment" id = db.Column(db.Integer, primary_key=True) # 编号 content = db.Column(db.Text) # 评论内容 movie_id = db.Column(db.Integer, db.ForeignKey("movie.id")) #
日志分析
兰枫
05-18 1727
文章目录日志分析概述加载日志文件，解析日志生产者消费者模型数据处理流程分发器的实现IP分析器完整代码如下 日志分析 概述 生成中会生成大量的系统日志、应用程序日志、安全日志等等日志，通过对日志的分析可以了解服务器的负载、健 康状况，可以分析客户的分布情况、客户的行为，甚至基于这些分析可以做出预测。 一般采集流程 日志产出 -> 采集（Logstash、Flume、Scribe） -> ...
日志分析方法
热门推荐
foolisheddy
06-03 2万+
日志分析方法 日志分析方法 分析方法： 1.特征字符分析（Signature-based）： 2.访问频率分析（Frequency analysis） 1.漏洞扫描检测: 2.暴力破解检测: 3.webshell 检测 难点： 风险评估模型： 参考： 分析方法： 1.特征字符分析（Signature-based）： 在日志中查找已知的漏洞特征，去发现黑客攻击行为，...
风控建模专栏：日志记录&内容发布
不太焦虑又不太安分
03-07 1052
风控建模篇： 卡方分箱篇 处女文章 1：PART 3.1 风控建模卡方分箱步骤详解篇 发布时间：2019年02月11日 2：PART 3.2 风控建模卡方分箱前期数据处理篇 发布时间：2019年02月13日 3：PART 3.3 风控建模卡方分箱计算篇 发布时间：2019年03月06日 数据预处理篇 4 PART 1 如何确定建模的Y值 发布时间：2019年02月19日 5 PART 2.1...
数仓：数仓建设中的数据建模和日志体系
GIS摆渡人
07-26 262
对于一个软件来说，分为功能需求和跨功能需求（Cross-FunctionalRequirements,CFR）。功能需求，一般是我们可以看见的，就是实现了什么功能，提供了什么服务。而跨功能需求，是隐性的，容易被忽略，通常被称为非功能需求(Non-FunctionalRequirements,NFR）。开发过程中，在跨功能需求上的成本，难度和工作量，是要远远大于功能需求的，需要让非技术人员意识到要实现这些跨功能需求所需要的额外的工作量。服务器发生异常，数据发生异常，如何保证ETL的真正幂等性。...
日志分析大数据平台项目、Hive高阶函数、数仓建模模型
啊策策大数据社区
04-04 908
1. 日志点击流整体框架 2. 点击流分析 2.1 表模型 page作为点, 根据sessionId就可以将用户在该网站的访问情况绘制成一条线, 就可以分析用户的访问轨迹 表模型 原始数据 通过flume采集得到的input数据 原始访问日志表 mr数据清洗原始数据. 过滤脏数据,得到weblog_origin 通过load方式, 加载到hive的ods层, 源数据 p...
系统操作日志表单形式构建
weixin_30482181的博客
12-02 229
1.概述 所谓操作日志，就是某人对指定模块的指定对象进行操作的记录，在某种情况下，可能会有显示本次操作对哪些数据字段进行啦了动，或者是操作前后该模型的数据比对情况。针对于这类需求，想要查看某条操作记录具体改动项信息的时候，对于前端来讲，他不需要知道这个对象的具体类型及各个字段的意义的汉字描述，他们只需要循环遍历，将所有的数据拼到一个div容器里即可。后台该如何去设计才能做到最简化的操作...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值