高性能日志系统 性能测试

于 2024-08-17 10:43:02 发布
阅读量160 收藏
点赞数 3
文章标签： 数据库
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/gma999/article/details/141245863
版权

百万并发压测

测试环境

  • 云服务器环境
    • 2核2G 2M Linux华为云服务器
    • Ubuntu系统
  • 本地电脑环境
    • 处理器：AMD Ryzen 7 4800H with Radeon Graphics2.90 GHz
    • 已安装的内存(RAM):16.0GB(15.4GB可用)
    • 系统类型：64位操作系统，基于x64的处理器

测试结果

  • 响应：耗时1.20599秒，高负载情况下实现百万并发
  • 吞吐量：每秒处理829365日志，处理数据量79M，实现高并发情况下的数据处理性能
  • 多线程并发：5个线程并行处理日志，充分利用CPU提高运行性能
当前日志器：root 未检测到日志格式，默认设置为[ %d{%H:%M:%S}%T%t%T[%p]%T[%c]%T%f:%l%T%m%n ]!
当前日志器：root 未检测到落地方向，默认设置为标准输出!
DEBUG 同步日志器: root创建成功...
[09:02:59][140191453075264][INFO][root][logger.cc:31] ************************************************
[09:02:59][140191453075264][INFO][root][logger.cc:32] 异步日志测试: 1 线程, 1000000 条日志
DEBUG异步日志器: async_bench_logger1创建成功...
线程数量: 1
日志总数量: 1000000
单条日志大小: 100 字节
总耗时: 1.31725 秒
每秒日志数量: 759204 条
每秒日志数据量: 72 MB
[09:03:01][140191453075264][INFO][root][logger.cc:44] ************************************************
[09:03:01][140191453075264][INFO][root][logger.cc:31] ************************************************
[09:03:01][140191453075264][INFO][root][logger.cc:32] 异步日志测试: 5 线程, 1000000 条日志
DEBUG异步日志器: async_bench_logger2创建成功...
线程数量: 5
日志总数量: 1000000
单条日志大小: 100 字节
总耗时: 0.860284 秒
每秒日志数量: 1170953 条
每秒日志数据量: 111 MB
[09:03:01][140191453075264][INFO][root][logger.cc:44] ************************************************
[09:03:01][140191453075264][INFO][root][logger.cc:10] ************************************************
[09:03:01][140191453075264][INFO][root][logger.cc:11] 同步日志测试: 1 线程, 1000000 条日志
DEBUG 同步日志器: sync_bench_logger1创建成功...
线程数量: 1
日志总数量: 1000000
单条日志大小: 100 字节
总耗时: 1.1581 秒
每秒日志数量: 863533 条
每秒日志数据量: 82 MB
[09:03:03][140191453075264][INFO][root][logger.cc:23] ************************************************
[09:03:03][140191453075264][INFO][root][logger.cc:10] ************************************************
[09:03:03][140191453075264][INFO][root][logger.cc:11] 同步日志测试: 5 线程, 1000000 条日志
DEBUG 同步日志器: sync_bench_logger2创建成功...
线程数量: 5
日志总数量: 1000000
单条日志大小: 100 字节
总耗时: 1.10798 秒
每秒日志数量: 902719 条
每秒日志数据量: 86 MB
[09:03:04][140191453075264][INFO][root][logger.cc:23] ************************************************
root@hcss-ecs-b4a9:/home/bitlog/bench# make
g++ -g -std=c++11 logger.cc -o logger -lpthread
root@hcss-ecs-b4a9:/home/bitlog/bench# ./logger
当前日志器：root 未检测到日志格式，默认设置为[ %d{%H:%M:%S}%T%t%T[%p]%T[%c]%T%f:%l%T%m%n ]!
当前日志器：root 未检测到落地方向，默认设置为标准输出!
DEBUG 同步日志器: root创建成功...
[09:04:32][140250054625088][INFO][root][logger.cc:10] ************************************************
[09:04:32][140250054625088][INFO][root][logger.cc:11] async日志测试: 1 线程, 1000000 条日志
DEBUG异步日志器: async_bench_logger1创建成功...
线程数量: 1
日志总数量: 1000000
单条日志大小: 100 字节
总耗时: 1.53762 秒
每秒日志数量: 650421 条
每秒日志数据量: 62 MB
[09:04:34][140250054625088][INFO][root][logger.cc:23] ************************************************
[09:04:34][140250054625088][INFO][root][logger.cc:10] ************************************************
[09:04:34][140250054625088][INFO][root][logger.cc:11] async日志测试: 5 线程, 1000000 条日志
DEBUG异步日志器: async_bench_logger2创建成功...
线程数量: 5
日志总数量: 1000000
单条日志大小: 100 字节
总耗时: 0.923734 秒
每秒日志数量: 1087104 条
每秒日志数据量: 103 MB
[09:04:35][140250054625088][INFO][root][logger.cc:23] ************************************************
[09:04:35][140250054625088][INFO][root][logger.cc:10] ************************************************
[09:04:35][140250054625088][INFO][root][logger.cc:11] sync日志测试: 1 线程, 1000000 条日志
DEBUG 同步日志器: sync_bench_logger3创建成功...
线程数量: 1
日志总数量: 1000000
单条日志大小: 100 字节
总耗时: 1.37098 秒
每秒日志数量: 729480 条
每秒日志数据量: 69 MB
[09:04:36][140250054625088][INFO][root][logger.cc:23] ************************************************
[09:04:36][140250054625088][INFO][root][logger.cc:10] ************************************************
[09:04:36][140250054625088][INFO][root][logger.cc:11] sync日志测试: 5 线程, 1000000 条日志
DEBUG 同步日志器: sync_bench_logger4创建成功...
线程数量: 5
日志总数量: 1000000
单条日志大小: 100 字节
总耗时: 1.20599 秒
每秒日志数量: 829365 条
每秒日志数据量: 79 MB
[09:04:37][140250054625088][INFO][root][logger.cc:23] ************************************************

容错测试

磁盘故障注入测试

  • 磁盘写满测试：通过不断的向磁盘中写入数据，直到磁盘满载，从而测试系统在无法写入日志文件如何运行，期望系统可以正确捕获异常，并正确处理日志文件的写入失败
  • 磁盘只读测试：日志文件目录挂载为只读，目的就是在无法写入日志的时候，是否可以识别出该情况【测试失败，后期更改】

 

#include "../logs/maglog.h"
#include <fstream>
#include <iostream>

void testDiskFull() {
    LOGI("开始磁盘写满测试");

    // 模拟磁盘写满
    std::ofstream ofs("/home/bitlog/test/fill_disk.txt", std::ios::binary);
    const size_t bufferSize = 1024 * 1024; // 1 MB
    char buffer[bufferSize] = {0};

    try {
        while (true) {
            ofs.write(buffer, bufferSize);
            if (ofs.fail()) {
                LOGE("磁盘已满或写入失败！");
                break;
            }
        }
    } catch (const std::exception &e) {
        LOGE("磁盘写满测试异常: %s", e.what());
    }

    LOGI("磁盘写满测试结束");
}

void testDiskReadOnly() {
    LOGI("开始磁盘只读测试");

    // 将目录挂载为只读
    std::string command = "sudo mount -o remount,ro /home/bitlog/log";
    if (system(command.c_str()) != 0) {
        LOGE("无法将磁盘目录挂载为只读");
    }

    LOGI("磁盘只读测试结束");
}

int main() {
    // 执行磁盘写满测试
    testDiskFull();

    // 执行磁盘只读测试
    testDiskReadOnly();

    return 0;
}

 网络故障测试

  • 网络延迟测试：模拟日志系统在网络波动时候的行为，经测试可以实现在高延迟网络条件下继续进行稳定的传输数据


#include"../logs/maglog.h"
#include <cstdlib>
#include <iostream>

void testNetworkDelay()
{
    LOGI("开始网络延迟测试");

    // 删除现有的 netem 规则，防止冲突
    std::string deleteCommand = "sudo tc qdisc del dev eth0 root";
    int deleteResult = system(deleteCommand.c_str());
    if (deleteResult == 0) {
        LOGI("成功删除现有的网络延迟规则");
    } else {
        LOGW("未找到现有的网络延迟规则，可能未设置或已被删除");
    }

    // 添加新的网络延迟规则
    std::string command = "sudo tc qdisc add dev eth0 root netem delay 100ms";
    int addResult = system(command.c_str());
    if (addResult == 0) {
        LOGI("成功引入100ms的网络延迟");
    } else {
        LOGE("无法引入网络延迟，命令执行失败");
    }

    // 打印当前的网络配置
    std::string showCommand = "sudo tc qdisc show dev eth0";
    LOGI("当前网络配置如下：");
    int showResult = system(showCommand.c_str());
    if (showResult != 0) {
        LOGE("无法显示当前的网络配置");
    }

    LOGI("网络延迟测试结束");
}

int main(){
    // 执行网络延迟测试
    testNetworkDelay();

    return 0;
}

资源限制测试

  • CPU压力测试：通过引入CPU高负载，测试系统在高CPU占用情况下的性能。希望看到系统是否能够继续高效地处理日志记录任务
  • 内存压力测试：通过模拟高内存占用，测试系统在内存资源有限时的表现。希望确认系统在内存压力下的稳定性和响应能力

 

 

#include "../logs/maglog.h"
#include <cstdlib>

void testCpuStress() {
    LOGI("开始CPU压力测试");

    // 模拟CPU高负载
    std::string command = "stress-ng --cpu 2 --timeout 60s";
    if (system(command.c_str()) != 0) {
        LOGE("CPU压力测试失败");
    }

    LOGI("CPU压力测试结束");
}

void testMemoryStress() {
    LOGI("开始内存压力测试");

    // 模拟内存压力
    std::string command = "stress-ng --vm 1 --vm-bytes 90% --timeout 60s";
    if (system(command.c_str()) != 0) {
        LOGE("内存压力测试失败");
    }

    LOGI("内存压力测试结束");
}

int main() {
    // 执行CPU压力测试
    testCpuStress();

    // 执行内存压力测试
    testMemoryStress();

    return 0;
}

 混合读写测试

实时读取写入测试，模拟高并发场景下的并发读写日志，测试日志的性能和稳定性

 

#include"../logs/maglog.h"
#include <fstream>
#include <thread>
#include <vector>
#include <mutex>
#include <chrono>
#include <string>
void writeLogs(int numMessages, int threadId) {
    for (int i = 0; i < numMessages; ++i) {
        LOGI("线程 %d 写入的日志消息 %d 时间戳: %ld", threadId, i, std::chrono::system_clock::to_time_t(std::chrono::system_clock::now()));
    }
}

void readLogs(const std::string &logFile, int numReads){
    for (int i = 0; i < numReads; ++i) {
        std::ifstream ifs(logFile);
        if (!ifs.is_open()) {
            LOGE("无法打开日志文件进行读取: %s", logFile.c_str());
            return;
        }

        std::string line;
        while (std::getline(ifs, line)) {
            // 模拟读取操作，可以在实际使用时处理或输出日志内容// LOGI("读取的日志内容: %s", line.c_str()); // 如果需要打印读取内容，可以启用这行
        }

        std::this_thread::sleep_for(std::chrono::milliseconds(100)); // 模拟读取间隔
    }
}

int main(){
    const std::string logFile = "test_logs.txt";
    const int numMessages = 1000;
    const int numReads = 100;

    // 使用 GlobalLoggerBuilder 初始化日志系统
    bitlog::GlobalLoggerBuilder::ptr lbp(new bitlog::GlobalLoggerBuilder);
    lbp->buildLoggerName("test_logger");
    lbp->buildLoggerLevel(bitlog::LogLevel::value::INFO); // 确保设置正确的日志级别
    lbp->buildFormatter("%m");
    lbp->buildSink<bitlog::FileSink>(logFile); // 设置日志输出文件为 test_logs.txt
    lbp->buildLoggerType(bitlog::Logger::Type::LOGGER_SYNC); // 使用同步日志器
    lbp->build();

    // 创建写入和读取线程
    std::thread writer1(writeLogs, numMessages, 1);
    std::thread writer2(writeLogs, numMessages, 2);
    std::thread reader(readLogs, logFile, numReads);

    // 等待所有线程完成
    writer1.join();
    writer2.join();
    reader.join();

    LOGI("日志写入与读取测试完成。");

    return 0;
}
gma999
关注
  • 3
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
C++项目设计：构建高性能、线程安全的日志系统
探索C++编程的奥秘，分享深入的技术见解和实践，旨在激发读者创造力与解决问题的思维。
05-25 3453
C++项目设计：构建高性能、线程安全的日志系统
深入理解Logback异步日志配置及性能优化
weixin_44976692的博客
05-10 2万+
通过本文的介绍，相信大家对Logback异步日志配置及性能优化有了更深入的理解。在实际项目中，合理配置日志记录方式和优化性能对于提升系统的稳定性和性能至关重要。希望本文能够对大家有所帮助，也欢迎大家关注我的技术分享和交流群，一起探讨更多有趣的技术话题！
搭建高性能日志服务器,syslog日志服务器搭建
weixin_39928768的博客
08-13 1490
syslog日志服务器搭建 内容精选换一换提供多个业务节点提供共享的日志输出目录，方便分布式应用的日志收集和管理。业务特点：多个业务主机挂载同一个共享文件系统，并发打印日志。大文件小I/O：单个日志文件比较大，但是每次日志的写入I/O比较小。写I/O密集型：业务以小块的写I/O为主。多个业务主机挂载同一个共享文件系统，并发打印日志。大文件小I/O：单个日志文件比较大，但是每次日志云审计CTS与LT...
搭建高性能日志服务器,rsyslog日志服务器搭建
weixin_36246029的博客
08-06 3562
第1章 简介1.1 Rsyslog介绍rsyslog是比syslog功能更强大的日志记录系统，可以将日志输出到文件，数据库和其它程序。ryslog 是一个快速处理收集系统日志的程序，提供了高性能、安全功能和模块化设计。rsyslog 是syslog 的升级版，它将多种来源输入输出转换结果到目的地，并可定制和过滤、筛选。据官网介绍，现在可以处理100万条信息。特性：1、可以直接将日志写入到数据库。2...
美团高性能终端实时日志系统建设实践
美团技术团队
11-03 1412
总第541篇2022年 第058篇你是否经常遇到线上需要日志排查问题但迟迟联系不上用户上报日志的情况？或者是否经常陷入由于存储空间不足而导致日志写不进去的囧境？本文介绍了美团是如何从0到1搭建高性能终端实时日志系统，从此彻底解决日志丢失和写满问题的。希望能为大家带来一些帮助和启发。1 背景1.1 Logan 简介1.2 Logan 工作流程1.3 为什么需要实时日志？1.4 Logan 实时日志是...
*使用高性能的php日志系统 --seaslog
西瓜的博客
03-04 2652
学习使用之前我们首先要搞明白，日志能给我们解决什么问题 什么是日志系统？？ 1、记录系统运行时的信息 2、记录日志、应用程序、安全日志 3、日志功能不应该影响到用户的正常使用 为什么需要日志系统？？ 1、了解系统运行情况 2、记录用户操作信息 3、收集数据（如 500错误，出现了多少次） 为什么选择seaslog？？ 1、高性能（C语言写的） 2、无需配置（先写闪存，达到一定...
打造高性能日志系统
鱼思故渊的专栏
11-10 3952
前言    说起日志系统, 大家都不陌生, 每次线上出了问题, 大家通常都会第一时间抓log回来进行分析, 很多时候这些log是我们恢复现场的重要途径也可能成为了唯一手段, 所以重要性不言而喻. 市面上的开源日志系统有很多, 如log4cxx, log4cpp, glog等等, 最终目的都只有一个 -- 写日志. 于是如何优雅,高效,安全的写日志是大家的一致需求.    说起优雅, 这里我指的
如何构建高性能Web应用？
这里是RabbitTuzi哦~
07-03 4504
构建高性能Web应用是现代软件开发中的重要挑战之一。本文将详细介绍一些关键的技术，帮助开发人员优化Web应用的性能，提供良好的用户体验。
系统配置与性能评价（精炼知识点）
热门推荐
10-29 8万+
这一部分知识点不多，有个印象即可。
高性能日志管理类FastLoggerHelper的使用方法（供团队内部人员查看）
郝伟老师的博客——大数据、并行计算与人工智能时代
08-23 938
简介 在项目中，我们需要在很多地方进行日志记录，为了便于日志操作，在CommonLibrary类中提供了一个高性能的日志记录类FastLoggerHelper，现在就这个类的使用方法进行介绍。 特性 这个类具有以下特性： 能够自动记录日志代码的位置，包括类名，函数名和所在行号； 能够自动添加日志生成的时间； 使用简单，只有三个操作： 1.程序开始时启动日志管理器 2.程序进行中记录日志 3.程...
高性能智能日志实践
02-26
【编者按】本文作者是...在此我们假设读者已熟悉了各种日志框架，如Log4j、SLF4J等，所以不再详细介绍，本文旨在为「真实」的生产日志提供指南，检测其对应用质量的影响，同时还为大家介绍了一个被遗忘已久的高性能
高性能获取系统时间
07-22
在高并发环境中，系统时间的准确获取是许多关键操作的基础，如事务处理、计时器、日志记录等。然而，传统的Java方法`System.currentTimeMillis()`在面对大量并发请求时可能会出现性能瓶颈。本文将深入探讨这个问题，...
高性能服务器程序设计.pptx
09-26
1. Oracle：Oracle是指使用Oracle数据库管理系统，提供高性能和可靠性的数据库服务。 2. MySQL：MySQL是指使用MySQL数据库管理系统，提供高性能和可靠性的数据库服务。 小技巧： 1. 使用tmpfs、sendfile、writev、...
C#高性能日志
03-23
"C#高性能日志"着重关注如何在C#环境中构建一个高效、可扩展且功能丰富的日志框架。以下是对该主题的详细阐述： 1. **多线程写入**：在高并发环境下，日志系统需要能够同时处理多个线程的写入请求。C#通过`Task`或`...
webjs 数据库 离线读取本地数据库源码-SAAS 本地化及未来之窗行业应用跨平台架构
cybersnow精通 28 门计算机语言，凭借其超凡的技术能力，成功开发过上万个应用，广泛涉及政府、商业、个人等众多领域，甚至在检察院、环保局、公安局等专业场景中也大放异彩。不仅熟练掌握单片机和物联网开发，在软件架构设计方面更是独树一帜，自创了跨平台软件
08-15 178
【代码】webjs 数据库 离线读取本地数据库源码-SAAS 本地化及未来之窗行业应用跨平台架构。
[Qt][Qt窗口][下]详细讲解
SnowK博客
08-13 3753
[Qt][Qt窗口][下]详细讲解
旅游网站
最新发布
weixin_43213064的博客
08-16 612
【代码】springboot旅游网站
mysql介绍
weixin_57763462的博客
08-14 302
丰富的存储引擎：MySQL 提供了多种存储引擎，如 InnoDB、MyISAM、Memory 等，每种存储引擎都有其特定的应用场景和优势。多语言支持：MySQL 支持多种编程语言，包括 C、C++、Python、Java、Perl、PHP 等，并提供了相应的 API。安全性：MySQL 提供了灵活的权限和密码系统，支持基于主机的验证，并且所有的密码传输都采用加密形式，确保了数据的安全性。管理工具：MySQL 提供了丰富的管理工具，如命令行客户端、图形界面管理工具等，方便用户进行数据库的管理和维护。
【Redis】Redis 初探：特性、应用场景与高并发架构演进之路
Hsusan的博客
08-13 895
在进⾏技术学习过程中，由于⼤部分读者没有经历过⼀些中⼤型系统的实际经验，导致⽆法从全局理解⼀些概念，所以本⽂以⼀个 “电⼦商务” 应⽤为例，介绍从⼀百个到千万级并发情况下服务端的架构的演进过程，同时列举出每个演进阶段会遇到的相关技术，让⼤家对架构的演进有⼀个整体的认知，⽅便⼤家对后续知识做深⼊学习时有⼀定的整体视野。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值