日志系统——日志落地模块设计

最新推荐文章于 2024-05-28 09:56:05 发布
最新推荐文章于 2024-05-28 09:56:05 发布
阅读量259 收藏
点赞数
分类专栏： 基于多设计模式下的同步异步日志系统 文章标签： linux c++
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zcxmjw/article/details/132393011
版权

一，大致框架

首先我们需要明确模块的功能，将格式化后的日志信息字符串，输出到对应的位置。同时由于用户输出信息的方式是多样的，因此我们日志落地模块也支持拓展的功能，也就是用户自定义落地方式。

日志信息落地的方式大概可以分为下面三种

1.标准输出，指的是将信息直接进行cout打印，程序相当简单，但是不方便分析

2.指定文件， 将日志信息打印到目标文件中，方便后续查看进程运行状况，但也有问题例如单个文件过大，多天的信息堆积一处不方便查询观看。

3.滚动文件，滚动文件分为两种：①按照文件大小进行切换，例如一个文件存储1G的内容，内容超出1G，重新创建文件存储。②按照时间进行切换，例如以天为单位，每一天都开一个新文件存储信息(该方式我们会以用户自定义输出方法的方法实现)。

实现思路：

1.抽象出一个日志落地模块基类

2.不同的落地方式从基类创建派生类实现

3.使用简单工厂模式，将对落地方式进行一层封装，也就是将创建和实现分开。

二，代码实现

2.1 sink.hpp

#ifndef _M_SINK_H_
#define _M_SINK_H_

#include "util.hpp"
#include "format.hpp"
#include <iostream>
#include <fstream>
#include <memory>
#include <cassert>
#include <ctime>

namespace mjwlog
{
    // 基类
    class Sink
    {
    public:
        using ptr = std::shared_ptr<Sink>;
        Sink(){};
        virtual ~Sink(){};
        virtual void log(const char *msg, const size_t len) = 0;
    };

    // 标准输出落地方向
    class StdoutSink : public Sink
    {
    public:
        void log(const char *msg, const size_t len) override
        {
            std::cout.write(msg, len);
        }
    };

    // 文件输出落地方向
    class FileSink : public Sink
    {
    public:
        // 先获得存储位置
        FileSink(const std::string& filepath)
            : _filepath(filepath)
        {
            // 在构造的时候就将文件打开
            // 1.先判断目录是否存在，不存在创建
            util::FileDirectory::createDirectory(util::FileDirectory::getDirectory(_filepath));
            _ofs.open(_filepath, std::ios_base::binary | std::ios_base::app);
            assert(_ofs.is_open()); // 打开失败，直接退出报错
        }

        // 写入内容
        void log(const char *msg, const size_t len) override
        {
            _ofs.write(msg, len);
            if (!_ofs.good())
            {
                std::cout << "日志写入文件失败" << std::endl;
            }
        }

    private:
        std::string _filepath;
        std::ofstream _ofs;
    };

    // 滚动文件输出落地方向（按照大小）
    class RollFileSink : public Sink
    {
    public:
        // 先获得存储位置
        // basepath:"/a/b/log"(自行添加后缀方便辨认) ->"/a/b/log200208051123.log-_filecount"
        RollFileSink(const std::string& basepath,const size_t& max_size)
            : _basepath(basepath),
              _max_size(max_size),
              _cur_size(0),
              _filecount(1)
        {
            // 在构造的时候就将文件打开
            //检查目录"/a/b/log"是否存在
            util::FileDirectory::createDirectory(util::FileDirectory::getDirectory(_basepath));

            //打开文件
            creatfile();
        }

        // 写入内容
        void log(const char *msg, const size_t len) override
        {
            //判断文件是否已满，满了就重新开文件
            if(_cur_size>=_max_size)
            {
                creatfile();
                //注意创建新文件后，_cur_size需要置为0
                _cur_size=0;
            }

            _ofs.write(msg,len);

            if (!_ofs.good())
            {
                std::cout << "日志写入文件失败" << std::endl;
            }
            _cur_size+=len;
        }

    private:
        //辅助接口
        //1.添加后缀
        std::string AddSuffix()
        {
            std::string suffix = _basepath;
            // basepath:"/a/b/log"(自行添加后缀方便辨认) ->"/a/b/log200208051123.log-_filecount"
            time_t time = util::gettime::nowtime();
            // localtime_r 函数获取时间详细属性
            struct tm attr;
            localtime_r(&time, &attr);

            suffix += std::to_string(attr.tm_year+1900); // 年,默认从1900开始算，因此需要+1900
            suffix += std::to_string(attr.tm_mon+1);  // 月，0-11
            suffix += std::to_string(attr.tm_mday); // 日
            suffix += std::to_string(attr.tm_hour); // 时
            suffix += std::to_string(attr.tm_min);  // 分
            suffix += ".log";
            suffix+="-"+std::to_string(_filecount++);

            return suffix;
        }

        //2.重新开文件
        void creatfile()
        {
            //打开前需要将原文件关闭
            _ofs.close();
            // 1.先判断目录是否存在，不存在创建
            std::string filepath=AddSuffix();
            _ofs.open(filepath, std::ios_base::binary | std::ios_base::app);
            assert(_ofs.is_open()); // 打开失败，直接退出报错
        }

    private:
        std::string _basepath;
        std::ofstream _ofs;
        size_t _max_size; // 文件空间上限
        size_t _cur_size; // 文件当前空间大小
        int _filecount;
    };

    //简单工厂模式，将创建和实现方法分开
    class SinkFactory
    {
    public: 
        template<typename SinkDirection,typename ...Args>
        static Sink::ptr  LogSink(Args &&...args)
        {
            return std::make_shared<SinkDirection>(std::forward<Args>(args)...);
        }

    };



}

#endif

测试

#include "util.hpp"
#include "level.hpp"
#include "format.hpp"
#include "sink.hpp"

int main()
{
    mjwlog::message msg(53,mjwlog::LogLevel::level::DEBUG,"test","root","日志格式化输出调试");
    mjwlog::Formatter ft;
    std::cout<<ft.format(msg)<<std::endl;

    mjwlog::Sink::ptr stdout_ptr=mjwlog::SinkFactory::LogSink<mjwlog::StdoutSink>();
    mjwlog::Sink::ptr file_ptr=mjwlog::SinkFactory::LogSink<mjwlog::FileSink>("./logfile/test.log");
    //以1m为分界线，进行滚动文件输出
    mjwlog::Sink::ptr rollfile_ptr=mjwlog::SinkFactory::LogSink<mjwlog::RollFileSink>("./logfile/test",1024*1024);

    stdout_ptr->log(ft.format(msg).c_str(),ft.format(msg).size());
    file_ptr->log(ft.format(msg).c_str(),ft.format(msg).size());

    size_t testsize=0;
    //我们写入10m的内容
    while(testsize<1024*1024*10)
    {
        rollfile_ptr->log(ft.format(msg).c_str(),ft.format(msg).size());
        testsize+=ft.format(msg).size();
    }




    //std::cout<<"abc\taaa"<<std::endl;
    /* std::cout<<mjwlog::LogLevel::LeveltoString(mjwlog::LogLevel::level::DEBUG)<<std::endl;
    std::cout<<mjwlog::LogLevel::LeveltoString(mjwlog::LogLevel::level::INFO)<<std::endl;
    std::cout<<mjwlog::LogLevel::LeveltoString(mjwlog::LogLevel::level::WARN)<<std::endl;
    std::cout<<mjwlog::LogLevel::LeveltoString(mjwlog::LogLevel::level::ERROR)<<std::endl;
    std::cout<<mjwlog::LogLevel::LeveltoString(mjwlog::LogLevel::level::FATAL)<<std::endl;
    std::cout<<mjwlog::LogLevel::LeveltoString(mjwlog::LogLevel::level::OFF)<<std::endl; */


    /* std::cout<<mjwlog::util::gettime::nowtime()<<std::endl;
    mjwlog::util::FileDirectory::createDirectory("./abc/abbbb/xxxx/vvvv/c.txt"); */
    return 0;
}

结果

2.2 自定义日志落地方式

 这里我们以写入滚动文件(按照时间)为例

#include "util.hpp"
#include "level.hpp"
#include "format.hpp"
#include "sink.hpp"

// 滚动文件输出落地方向（按照时间）
enum class time_seg
{
    SECOND = 0,
    MINUTE,
    HOUR,
    DAY
};
//注意:当_seg以秒为单位时，getTimeSecond(_seg)返回1的话，任何数%1都为0
//这样就导致_create_time和_cur_time永远为0，这样就永远没办法创新文件
//因此当_seg以秒为单位时，_create_time和_cur_time不%上任何值
class TimeFileSink : public mjwlog::Sink
{
public:
    // 先获得存储位置
    // basepath:"/a/b/log"(自行添加后缀方便辨认) ->"/a/b/log200208051123.log-_filecount"
    TimeFileSink(const std::string &basepath, const time_seg &seg)
        : _basepath(basepath),
          _seg(seg),
          _create_time(0),
          _cur_time(0),
          _filecount(1)
    {
        // 在构造的时候就将文件打开
        // 检查目录"/a/b/log"是否存在
        mjwlog::util::FileDirectory::createDirectory(mjwlog::util::FileDirectory::getDirectory(_basepath));
        // 打开文件
        creatfile();

        //确定创建时的时间段,注意每次重新创建文件都要重置_create_time
        
        _create_time=_seg==time_seg::SECOND?mjwlog::util::gettime::nowtime():mjwlog::util::gettime::nowtime()%getTimeSecond(_seg);

    }

    // 写入内容
    void log(const char *msg, const size_t len) override
    {
        // 判断文件是否已满，满了就重新开文件
        _cur_time=_seg==time_seg::SECOND?mjwlog::util::gettime::nowtime():mjwlog::util::gettime::nowtime()%getTimeSecond(_seg);
        
        if (_cur_time != _create_time)
        {
            creatfile();
            // 注意创建新文件后，_cur_size需要置为0
            _create_time=_seg==time_seg::SECOND?mjwlog::util::gettime::nowtime():mjwlog::util::gettime::nowtime()%getTimeSecond(_seg);

        }

        _ofs.write(msg, len);

        if (!_ofs.good())
        {
            std::cout << "日志写入文件失败" << std::endl;
        }
    }

private:
    // 辅助接口
    // 1.添加后缀
    std::string AddSuffix()
    {
        std::string suffix = _basepath;
        // basepath:"/a/b/log"(自行添加后缀方便辨认) ->"/a/b/log200208051123.log-_filecount"
        time_t time = mjwlog::util::gettime::nowtime();
        // localtime_r 函数获取时间详细属性
        struct tm attr;
        localtime_r(&time, &attr);

        suffix += std::to_string(attr.tm_year + 1900); // 年,默认从1900开始算，因此需要+1900
        suffix += std::to_string(attr.tm_mon + 1);     // 月，0-11
        suffix += std::to_string(attr.tm_mday);        // 日
        suffix += std::to_string(attr.tm_hour);        // 时
        suffix += std::to_string(attr.tm_min);         // 分
        suffix += ".log";
        suffix += "-" + std::to_string(_filecount++);

        return suffix;
    }

    // 2.重新开文件
    void creatfile()
    {
        // 打开前需要将原文件关闭
        _ofs.close();
        // 1.先判断目录是否存在，不存在创建
        std::string filepath = AddSuffix();
        _ofs.open(filepath, std::ios_base::binary | std::ios_base::app);
        assert(_ofs.is_open()); // 打开失败，直接退出报错
    }

    // 3.获取时间对应的秒数，SECOND——1
    int getTimeSecond(time_seg seg)
    {
        switch (seg)
        {
        case time_seg::SECOND:
            return 1;
        case time_seg::HOUR:
            return 60;
        case time_seg::MINUTE:
            return 2400;
        case time_seg::DAY:
            return 2400 * 24;
        default:
            std::cout << "暂时不支持当前间隔时间" << std::endl;
            abort();
        }

    }

private:
    std::string _basepath;
    std::ofstream _ofs;
    // 时间间隔，由用户确定
    time_seg _seg;
    // 例如我们以1秒为间隔分文件存储
    // 创建文件时为第31秒，32秒存入内容时检测，发现两个时间段对不上
    // 此时就需要重新创建文件写入日志
    size_t _create_time; // 文件创建时的时间段
    size_t _cur_time;    // 现在的时间段
    int _filecount;
};

int main()
{
    mjwlog::message msg(53, mjwlog::LogLevel::level::DEBUG, "test", "root", "日志格式化输出调试");
    mjwlog::Formatter ft;
    std::cout << ft.format(msg) << std::endl;

    mjwlog::Sink::ptr timefile_ptr=mjwlog::SinkFactory::LogSink<TimeFileSink>("./logfile/test",time_seg::SECOND);

    time_t old=mjwlog::util::gettime::nowtime();
    while(mjwlog::util::gettime::nowtime()<old+5)
    {
        timefile_ptr->log(ft.format(msg).c_str(), ft.format(msg).size());
        usleep(1000);
    }

    return 0;
}

 结果

 写入滚动文件(按照时间)落地方向，主要用来证明用户可以根据自己需要自定义日志落地，完成证明后，我们将其并入到sink.hpp中。

 

爱吃鱼的修猫
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
分布式的系统核心是什么——日志
02-25
本文来自于简书，主要介绍了日志在数据库，分布式系统中的应用，在MessageQueue中的应用等知识。日志就是按照时间顺序追加的、完全有序的记录序列，其实就是一种特殊的文件格式，文件是一个字节数组，而这里日志是一...
百亿级日志系统架构设计及优化
02-24
本文将从海量日志系统在优化、部署、监控方向如何更适应业务的需求入手，重点从多种日志系统的架构设计对比；后续调优过程：横向扩展与纵向扩展，分集群，数据分治，重写数据链路等实际现象与问题展开。有过项目开发...
一看就懂，Python 日志模块详解及应用
m0_59598029的博客
02-23 1359
百度百科的日志概述Windows网络操作系统都设计有各种各样的日志文件，如应用程序日志，安全日志、系统日志、Scheduler服务日志、FTP日志、WWW日志、DNS服务器日志等等，这些根据你的系统开启的服务的不同而有所不同。我们在系统上进行一些操作时，这些日志文件通常会记录下我们操作的一些相关内容，这些内容对系统安全工作人员相当有用。比如说有人对系统进行了IPC探测，系统就会在安全日志里迅速地记下探测者探测时所用的IP、时间、用户名等，用FTP探测后，就会在FTP日志中记下IP、时间、探测所用的用户名等。
日志系统——日志器模块
zcxmjw的博客
08-24 472
日志系统，日志器模块实现
ELK日志分析系统
sea_bunch的博客
04-18 1172
提供了一个分布式多用户能力的全文搜索引擎，例如百度。而且它是由java开发的，可通过RESTful web接口，可让用户通过浏览器和Elasticsearch。通常用于是索引和搜索大容量的日志，也可以搜索许多不同类型的文档解释：RESTful webget 获取post 创建put 更新delete 删除get 搜索值一款强大的数据处理工具，可实现数据传输、格式处理、格式化输出，数据输入、数据加工（如过滤、改写等）记忆数据输出。
日志模块的实现
weixin_49792497的博客
11-12 4653
日志管理设计说明 业务设计说明 本模块主要是实现对用户行为日志(例如谁在什么时间点执行了什么操作,访问了哪些方法,传递的什么参数,执行时长等)进行记录、查询、删除等操作。其表设计语句如下： CREATE TABLE `sys_logs` ( `id` bigint(20) NOT NULL AUTO_INCREMENT, `username` varchar(50) DEFAULT NULL COMMENT '登陆用户名', `operation` varchar(50) DEF...
python-日志模块以及实际使用设计
Akun_2217的博客
01-07 1147
本质就是更换日志处理器，利用logging.FileHandler()将日志信息输出到文件内。util/logger.py，设计如下，也可以按照自己的额外思路进行设计。logging.StreamHandler将日志信息输出到终端上。过滤器:过滤日志信息。过滤器:过滤日志信息。格式器:格式日志信息。格式器:格式日志信息。
自己动手写数据库：数据库系统的日志模块实现
tyler_download的专栏
04-04 1697
本文描述了数据库系统的日志模块实现逻辑，并给出了详细的设计代码
个人日志系统的设计与实现
03-06
本文主要介绍了该系统的基本功能及具体设计实现方法：系统分析中系统的结构图分析了系统各模块的功能；在系统设计中，详细地展现了系统各个功能模块的设计思路、所需的数据库表及表字段等；最后介绍系统的安全功能...
基于WebSocket技术的实时日志输出系统设计源码
04-08
WebSocket日志输出系统 - 基于Java和HTML开发的实时日志显示解决方案，包含20个文件，专注于WebSocket技术实现，支持实时日志输出，适用于各类日志管理需求，提升系统监控和运维效率。
日志系统——框架设计
zcxmjw的博客
08-13 359
本文主要是讲解一下日志系统模块的设计，方便我们后续的实现
linux————ELK（日志收集系统集群）
a872182042的博客
08-30 2010
日志对于分析系统、应用的状态十分重要，但一般日志的量会比较大，并且比较分散。如果管理的服务器或者程序比较少的情况我们还可以逐一登录到各个服务器去查看、分析。但如果服务器或者程序的数量比较多了之后这种方法就显得力不从心。基于此，一些集中式的日志系统也就应用而生。目前比较有名成熟的有，Splunk(商业)、FaceBook 的Scribe、Apache的Chukwa Cloudera的Fluentd、还有ELK等等。
日志系统——日志格式化模块设计
zcxmjw的博客
08-17 236
日志系统模块三——日志格式化化设计
分布式网络通信框架（十一）——logger日志系统设计实现
qq_42120843的博客
05-29 295
模板类的声明和成员函数实现最好都是实现在同一个头文件，分文件编写可能造成链接错误，日志模块是生产者消费者模型。工作方式，多个线程往队列写日志，一个专门的写线程从队列中读取日志信息写入磁盘中的日志文件。：线程安全，线程间通信，队列，生产者消费者模型。本项目所实现的日志模块采用。
【C++项目实战】日志系统
m0_69442905的博客
07-27 1446
本项目主要实现的是一个日志系统，其支持以下功能： 1、支持多级别日志信息 2、支持同步日志和异步日志 3、支持可靠写入日志到控制台、文件、滚动文件、数据库中 4、支持多线程程序并发写日志 5、 支持扩展不同的日志落地
Linux - 磁盘的分区和挂载
weixin_45735487的博客
05-27 805
逻辑分区只能在拓展分区上划分，编号5-15。拓展分区编号1-4，拓展分区不能格式化。rescue 恢复分区,对于误删的分区进行恢复,语法: rescue 起始 结束。rm 删除分区,后接要删除的分区编号。（L） 在主分区和拓展分区划分完之后，默认提示划分逻辑分区。n 进行磁盘分区，这里会默认MBR标签。（p） msdos下，会默认选择先划分主分区。
linux 之dma_buf (4)- mmap
最新发布
z20230508的博客
05-28 926
前面几篇都是在 kernel space 对 dma-buf 进行访问的，本篇我们将一起来学习，如何在 user space 访问 dma-buf。当然，user space 访问 dma-buf 也属于 CPU Access 的一种。
FTP协议——LightFTP安装（Linux）
计算机硕士的博客
05-27 357
FTP协议——LightFTP安装（Linux）。
【Linux】升级GCC（版本9.3），补充：binutils
yannan20190313的博客
05-27 842
【Linux】升级GCC（版本9.3），补充：binutils
java 系统日志表设计
05-26
设计 Java 系统日志表时，通常需要考虑以下几个方面： 1. 日志内容：需要确定记录哪些内容，例如时间、日志级别、错误信息、请求 URL、用户 ID 等。 2. 日志级别：需要确定不同级别的日志对应的记录内容，例如 DEBUG、INFO、WARN、ERROR、FATAL 等。 3. 数据库表结构：需要确定数据库表的字段，例如日志 ID、时间、日志级别、错误信息、请求 URL、用户 ID 等。 4. 数据库索引：需要确定需要在哪些字段上建立索引，例如时间、日志级别、请求 URL 等。 一个简单的 Java 系统日志表设计如下： ```sql CREATE TABLE `sys_log` ( `id` bigint(20) NOT NULL AUTO_INCREMENT COMMENT '日志ID', `create_time` datetime NOT NULL COMMENT '创建时间', `level` varchar(16) NOT NULL COMMENT '日志级别', `message` text COMMENT '日志内容', `url` varchar(255) DEFAULT NULL COMMENT '请求URL', `user_id` bigint(20) DEFAULT NULL COMMENT '用户ID', PRIMARY KEY (`id`), KEY `idx_create_time` (`create_time`), KEY `idx_level` (`level`), KEY `idx_url` (`url`(100)) ) ENGINE=InnoDB AUTO_INCREMENT=1 DEFAULT CHARSET=utf8mb4 COMMENT='系统日志表'; ``` 以上是一个简单的设计，具体根据实际需求进行调整。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值