【C/C++】实现高性能日志轮转功能，已实测

基本实现

在C语言中实现日志文件轮转功能，你需要手动编写代码来处理文件的重命名、压缩和删除。下面是一个简单的C语言程序示例，它演示了如何实现基本的日志文件轮转功能。这个程序会检查日志文件的大小，如果超过预设的大小限制，则将当前日志文件重命名，并创建一个新的日志文件。

#include <stdio.h>
#include <stdlib.h>
#include <string.h>
#include <sys/stat.h>
#include <unistd.h>

#define LOG_FILE "myapp.log"
#define MAX_LOG_SIZE 1024 * 1024 // 1MB
#define LOG_FILE_SUFFIX ".log"

void rotate_log_file(const char *log_file) {
    // 获取当前日志文件的大小
    struct stat file_stat;
    if (stat(log_file, &file_stat) == -1) {
        perror("stat");
        return;
    }

    // 如果文件大小超过限制，则进行轮转
    if (file_stat.st_size >= MAX_LOG_SIZE) {
        char new_log_file[1024];
        // 生成新的日志文件名
        snprintf(new_log_file, sizeof(new_log_file), "%s.%ld", log_file, time(NULL));

        // 重命名当前日志文件
        if (rename(log_file, new_log_file) == -1) {
            perror("rename");
            return;
        }

        // 创建新的日志文件
        FILE *new_log = fopen(log_file, "w");
        if (new_log == NULL) {
            perror("fopen");
            return;
        }
        fclose(new_log);
    }
}

int main() {
    // 检查并轮转日志文件
    rotate_log_file(LOG_FILE);

    // 打开日志文件并写入日志信息
    FILE *log = fopen(LOG_FILE, "a");
    if (log == NULL) {
        perror("fopen");
        return 1;
    }

    // 写入日志信息
    fprintf(log, "This is a log message at %s\n", ctime(&time(NULL)));
    fclose(log);

    return 0;
}

这个程序首先定义了日志文件的名称和最大大小限制。rotate_log_file函数负责检查当前日志文件的大小，并在必要时进行轮转。如果当前日志文件的大小超过了预设的限制，它会将当前日志文件重命名为包含当前时间戳的新文件名，并创建一个新的空日志文件。

在main函数中，我们调用rotate_log_file来轮转日志文件，然后打开日志文件并写入一条新的日志信息。

实现压缩文件，并删除旧日志文件子功能

在C语言中压缩旧日志文件时，需要考虑读写同步问题，以确保在压缩过程中不会丢失数据或损坏文件。通常，压缩旧日志文件的步骤如下：

1. 关闭当前日志文件：在压缩之前，确保当前正在写入的日志文件被关闭，以避免在压缩过程中写入数据。

2. 重命名旧日志文件：将旧日志文件重命名为一个临时名称，这样可以避免在压缩过程中其他进程尝试写入该文件。

3. 压缩文件：使用压缩工具（如gzip、bzip2等）对重命名后的旧日志文件进行压缩。

4. 删除旧日志文件：压缩完成后，删除原始的旧日志文件。

5. 重命名压缩文件：将压缩后的文件重命名为旧日志文件的名称。

6. 重新打开日志文件：重新打开日志文件，以便继续写入新的日志信息。

下面是一个简单的C语言示例，演示了如何压缩旧日志文件：

#include <stdio.h>
#include <stdlib.h>
#include <unistd.h>
#include <sys/stat.h>
#include <sys/types.h>
#include <fcntl.h>
#include <string.h>
#include <errno.h>

#define LOG_FILE "myapp.log"
#define LOG_FILE_SUFFIX ".log"
#define COMPRESSED_LOG_SUFFIX ".gz"

void compress_old_log_file(const char *log_file) {
    char temp_file[1024];
    char compressed_file[1024];

    // 1. 关闭当前日志文件
    fclose(fopen(log_file, "a"));

    // 2. 重命名旧日志文件
    snprintf(temp_file, sizeof(temp_file), "%s.%ld", log_file, time(NULL));
    if (rename(log_file, temp_file) != 0) {
        perror("Error renaming log file");
        return;
    }

    // 3. 压缩文件
    snprintf(compressed_file, sizeof(compressed_file), "%s%s", temp_file, COMPRESSED_LOG_SUFFIX);
    int ret = system((char *)("gzip " COMPRESSED_LOG_SUFFIX " " temp_file));
    if (ret != 0) {
        perror("Error compressing log file");
        return;
    }

    // 4. 删除旧日志文件
    if (remove(temp_file) != 0) {
        perror("Error removing uncompressed log file");
        return;
    }

    // 5. 重命名压缩文件
    if (rename(compressed_file, log_file) != 0) {
        perror("Error renaming compressed log file");
        return;
    }
}

int main() {
    // 假设这是日志轮转的触发点
    compress_old_log_file(LOG_FILE);

    // 重新打开日志文件
    FILE *log = fopen(LOG_FILE, "a");
    if (log == NULL) {
        perror("Error opening log file");
        return 1;
    }

    // 写入新的日志信息
    fprintf(log, "This is a new log entry after compression.\n");
    fclose(log);

    return 0;
}

在上述代码中，compress_old_log_file函数负责压缩旧日志文件。它首先关闭当前的日志文件，然后重命名旧日志文件，接着调用gzip命令压缩文件，最后删除旧日志文件并重命名压缩后的文件。

请注意，使用system函数调用外部命令（如gzip）可能会带来安全风险，特别是如果日志文件名来自不可信的输入。在生产环境中，应使用更安全的方法来执行压缩，例如使用popen和pclose函数，或者直接调用压缩库的API。

此外，压缩操作应该在日志文件不被频繁写入的时候执行，以避免读写同步问题。如果日志文件在压缩过程中仍然被写入，可能会导致压缩后的文件损坏。因此，压缩操作通常在日志文件轮转时执行，此时日志文件被关闭，不再有新的写入操作。

如何确保压缩过程中的数据完整性

确保压缩过程中的数据完整性涉及多个方面，包括文件的完整性、压缩过程的正确性以及压缩后文件的可用性。以下是一些确保数据完整性的最佳实践：

1. 文件完整性检查：

   • 在压缩之前，确保原始日志文件没有损坏。可以使用校验和（如MD5、SHA-1等）来验证文件的完整性。
   • 在压缩过程中，确保没有外部因素（如磁盘错误、电源故障等）导致数据损坏。

2. 压缩工具的选择：

   • 使用可靠的压缩工具，如gzip、bzip2或xz，这些工具都经过了广泛测试，能够正确地压缩和解压数据。
   • 确保压缩工具的版本是最新的，以避免已知的安全漏洞。

3. 压缩过程中的错误处理：

   • 在压缩过程中，捕获并处理可能出现的错误，例如磁盘空间不足、文件权限问题等。
   • 如果压缩过程中发生错误，应记录错误信息，并采取适当的恢复措施，如重新压缩或通知管理员。

4. 压缩后的文件验证：

   • 压缩完成后，可以使用校验和来验证压缩文件的完整性。
   • 如果压缩工具支持，可以使用内置的校验功能来验证压缩文件的完整性。

5. 备份和恢复计划：

   • 在压缩之前，确保有备份机制，以便在压缩失败或数据损坏时能够恢复数据。
   • 定期测试备份和恢复流程，确保它们在需要时能够正常工作。

6. 日志记录：

   • 在压缩过程中记录详细的日志，包括操作的开始和结束时间、任何发生的错误以及压缩文件的大小等信息。
   • 日志记录有助于事后分析和问题诊断。

7. 权限和安全：

   • 确保压缩过程中的文件和目录具有适当的权限，以防止未授权访问。
   • 如果使用外部压缩工具，确保这些工具的安全性，避免执行恶意代码。

8. 自动化和监控：

   • 将压缩过程自动化，并通过监控工具监控压缩过程的状态。
   • 如果压缩过程失败或长时间未完成，自动触发警报。