Nginx日志按天分割

已于 2024-08-15 21:37:48 修改
阅读量197 收藏
点赞数 1
分类专栏： Linux系统 文章标签： nginx 服务器 运维
于 2024-08-14 11:37:35 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_38924998/article/details/141186744
版权

需求、日志按照天的单位进行分割存储。

如果你直接百度，可能会搜到很多教你用各种脚本或是三方插件来按天分割的，这边我用nginx服务本身来分割日志。

方法一

通过使用 $time_iso8601 变量和 map 指令，实现了日志文件按天分割的功能。以下是详细的说明

1、map指令

map $time_iso8601 $logdate{
    '~^(?<ymd>\d{4}-\d{2}-\d{2})' $ymd;
    default 'date-not-found';
}

  • 作用: map 指令将 $time_iso8601 变量映射为 $logdate 变量，其中 $time_iso8601 是 Nginx 内置的变量，表示请求的时间，格式为 ISO 8601（例如 2024-08-13T20:35:06+08:00）。

  • 正则表达式: ~^(?<ymd>\d{4}-\d{2}-\d{2}) 用于从 $time_iso8601 中提取日期部分（例如 2024-08-13）。正则表达式中的 (?<ymd>\d{4}-\d{2}-\d{2}) 捕获年-月-日部分，并将其赋值给变量 $ymd。

  • 映射结果: 提取的日期部分被映射为 $logdate 变量，这个变量将用于日志文件的命名。

2、日志文件存储

access_log /data/logs/access_api.json_$logdate json;
error_log /data/logs/api-error.log$logdate error;

  • access_log: 配置了访问日志的路径，并使用 $logdate 变量生成按天分割的日志文件名。日志文件的完整路径格式为 /data/logs/access_api.json_YYYY-MM-DD，其中 YYYY-MM-DD 是日期。

  • error_log: 错误日志的路径未使用 $logdate，因此错误日志不会按天分割。

3、工作流程

  • 每当有请求到达时，Nginx 会自动根据请求的时间，使用 map 指令提取日期部分，生成 $logdate 变量。
  • 访问日志会记录在以当前日期命名的日志文件中，如 access_api.json_2024-08-06。
  • 随着日期的变化，$logdate 变量会自动更新，新的日志将记录到新的一天的日志文件中。

总结

通过 map 指令结合正则表达式，从 $time_iso8601 中提取日期部分，并使用该日期生成动态的日志文件名，从而实现了日志的按天分割功能。每一天都会生成一个新的日志文件，方便日后的日志分析与管理。

这里记得注意启动nginx的用户权限是否 有配置日志路径下的权限，记得日志写入权限的验证。

配置文件完整示例

user  app;
worker_processes  2;
events {
    worker_connections  30000;
}
http {
    include       mime.types;
    default_type  application/octet-stream;
    sendfile        on;
    keepalive_timeout  65;
###日志格式
    log_format json  escape=json '{"timestamp":"$time_iso8601",'
                        '"remote_addr": "$remote_addr", '
                        '"referer": "$http_referer", '
                        '"request": "$request", '
                        '"status": $status, '
                        '"bytes": $body_bytes_sent, '
                        '"agent": "$http_user_agent", '
                        '"x_forwarded": "$http_x_forwarded_for", '
                        '"up_addr": "$upstream_addr",'
                        '"up_host": "$upstream_http_host",'
                        '"up_resp_time": "$upstream_response_time",'
                        '"request_time": "$request_time",'
                        '"request_GlobalId": "$http_GlobalId",'
                        '"response_GlobalId": "$sent_http_GlobalId"'
                        '"response_body": "$resp_body",'
                        '"request_body": "$request_body"'
                        ' }';
###日志按天分割
   map $time_iso8601 $logdate{
            '~^(?<ymd>\d{4}-\d{2}-\d{2})' $ymd;
            default 'date-not-found';
    }
###
    charset  utf-8 ;
    gzip  on;
# 后端IP地址
upstream api-prod {
    server 10.66.66.88:8501 max_fails=5 fail_timeout=30s;
    server 10.66.66.66:8501 max_fails=5 fail_timeout=30s;
}

    server {
        listen       80 ;
        listen       7309 ;
        server_name  api.xxxxxx.cn api-test.xxxxx.cn;
        charset  utf-8 ;
        #日志配置
        lua_need_request_body on;
        set $resp_body "";
        body_filter_by_lua '
            local resp_body = string.sub(ngx.arg[1], 1, 1000)
            ngx.ctx.buffered = (ngx.ctx.buffered or "") .. resp_body
            if ngx.arg[2] then
               ngx.var.resp_body = ngx.ctx.buffered
            end
        ';

        location / {
           proxy_pass http://api-prod;

        if ($http_user_agent ~* "SLBHealthCheck") {
            access_log off;
            return 200;
        }
        }
   access_log /data/logs/access_api.json_$logdate json;
   error_log /data/logs/api-error.log error;
}
}

查看是否在日志文件路径下，日志文件有按照天的维度来分割，观察日志是按照天的维度来分割的，配置完成。验证完成

-rw-r--r-- 1 app app          2 Aug  8 14:59 access_api.json_2024-06-05
-rw-r--r-- 1 app app  535976601 Aug  8 23:59 access_api.json_2024-08-08
-rw-r--r-- 1 app app 1236143585 Aug  9 23:59 access_api.json_2024-08-09
-rw-r--r-- 1 app app  499546906 Aug 10 23:59 access_api.json_2024-08-10
-rw-r--r-- 1 app app  313264627 Aug 11 23:59 access_api.json_2024-08-11
-rw-r--r-- 1 app app  675015315 Aug 12 23:59 access_api.json_2024-08-12
-rw-r--r-- 1 app app  469080433 Aug 13 23:59 access_api.json_2024-08-13
-rw-r--r-- 1 app app  174011220 Aug 14 11:47 access_api.json_2024-08-14
-rw-r--r-- 1 app app          2 Aug  8 14:59 api-error.log
[root@iZbp13xxxxxxxxxxw3yfqZ logs]# pwd
/data/logs

方法二

通过使用lua脚本来实现。

1、定义一个共享字典

 lua_shared_dict logs 10m;

lua_shared_dict logs 10m;: 定义了一个共享字典，用于缓存日志文件句柄。这可以避免每次都重新打开日志文件，从而提高性能。10m表示分配了10MB的内存用于缓存。

2、Lua脚本实现

    log_by_lua_block {
        local cjson = require "cjson"
        local log_file_cache = ngx.shared.logs
        local today = os.date("%Y-%m-%d")
        local log_file = log_file_cache:get(today)

        if not log_file then
            log_file = io.open("/data/logs/access_api_" .. today .. ".json", "a")
            log_file_cache:set(today, log_file)
        end

        local log_line = cjson.encode({
            timestamp = ngx.var.time_iso8601,
            remote_addr = ngx.var.remote_addr,
            referer = ngx.var.http_referer,
            request = ngx.var.request,
            status = ngx.var.status,
            bytes = ngx.var.body_bytes_sent,
            agent = ngx.var.http_user_agent,
            x_forwarded = ngx.var.http_x_forwarded_for,
            up_addr = ngx.var.upstream_addr,
            up_host = ngx.var.upstream_http_host,
            up_resp_time = ngx.var.upstream_response_time,
            request_time = ngx.var.request_time,
            request_GlobalId = ngx.var.http_GlobalId,
            response_GlobalId = ngx.var.sent_http_GlobalId,
            response_body = ngx.var.resp_body,
            request_body = ngx.var.request_body
        })

        log_file:write(log_line .. "\n")
        log_file:flush()
    }

代码解释

  1. local cjson = require "cjson": 通过 require 加载 Lua 的 cjson 模块，用于将 Lua 表转换为 JSON 格式的字符串。这样可以把日志以 JSON 格式写入文件。

  2. local log_file_cache = ngx.shared.logs: 从共享字典 logs 中获取缓存的日志文件句柄。这可以避免每次请求都重新打开文件。

  3. local today = os.date("%Y-%m-%d"): 获取当前日期，并将其格式化为 "YYYY-MM-DD" 的字符串形式，这样每天都有一个新的日志文件名。

  4. local log_file = log_file_cache:get(today): 尝试从共享字典中获取当前日期对应的日志文件句柄。

  5. if not log_file then: 如果日志文件句柄不存在，说明这是当天第一次写日志，因此我们需要打开一个新的日志文件。

  6. log_file = io.open("/data/logs/access_api_" .. today .. ".json", "a"): 使用 io.open 打开一个新的日志文件，文件名包含当前日期。使用 "a" 模式以追加方式打开文件，这样不会覆盖已有的日志内容。

  7. log_file_cache:set(today, log_file): 将新打开的日志文件句柄缓存到共享字典中，避免下次重复打开。

  8. local log_line = cjson.encode({...}): 将日志信息封装成 Lua 表，并使用 cjson.encode 将其转换为 JSON 字符串。

  9. log_file:write(log_line .. "\n"): 将生成的日志行写入文件，并添加换行符。

  10. log_file:flush(): 将缓冲区的内容立即写入文件，以确保日志数据实时保存。

总结

  • 权限问题: 需要确保 Nginx 对日志文件目录 /data/logs/ 有写权限。
  • cjson 模块: 需要确认 OpenResty/Nginx 环境中已经安装了 cjson 模块。
  • 性能问题: 因为每个请求都涉及 Lua 脚本的执行，所以在高流量的生产环境中，性能开销需要评估。

配置文件完整示例

user  app;
worker_processes  2;

events {
    worker_connections  30000;
}

http {
    include       mime.types;
    default_type  application/octet-stream;
    sendfile        on;
    keepalive_timeout  65;

    charset  utf-8;
    gzip  on;

    lua_shared_dict logs 10m;  # 用于缓存日志文件句柄

    # 定义日志格式
    log_format json escape=json '{"timestamp":"$time_iso8601",'
                        '"remote_addr": "$remote_addr", '
                        '"referer": "$http_referer", '
                        '"request": "$request", '
                        '"status": $status, '
                        '"bytes": $body_bytes_sent, '
                        '"agent": "$http_user_agent", '
                        '"x_forwarded": "$http_x_forwarded_for", '
                        '"up_addr": "$upstream_addr",'
                        '"up_host": "$upstream_http_host",'
                        '"up_resp_time": "$upstream_response_time",'
                        '"request_time": "$request_time",'
                        '"request_GlobalId": "$http_GlobalId",'
                        '"response_GlobalId": "$sent_http_GlobalId",'
                        '"response_body": "$resp_body",'
                        '"request_body": "$request_body"'
                        '}';

    # 后端IP地址
    upstream api-prod {
        server 10.66.66.86:8501 max_fails=5 fail_timeout=30s;
        server 10.66.66.88:8501 max_fails=5 fail_timeout=30s;
    }

    server {
        listen       80;
        listen       7309;
        server_name  api.xxxxxx.cn api-test.xxxxxx.cn;
        charset  utf-8;

        lua_need_request_body on;

        # 获取响应体内容
        set $resp_body "";
        body_filter_by_lua '
            local resp_body = string.sub(ngx.arg[1], 1, 1000)
            ngx.ctx.buffered = (ngx.ctx.buffered or "") .. resp_body
            if ngx.arg[2] then
                ngx.var.resp_body = ngx.ctx.buffered
            end
        ';

        # 动态生成日志文件路径并写入日志
        log_by_lua_block {
            local cjson = require "cjson"
            local log_file_cache = ngx.shared.logs
            local today = os.date("%Y-%m-%d")
            local log_file = log_file_cache:get(today)

            -- 仅记录非 SLB 健康检查的日志
            if not ngx.var.http_user_agent:match("SLBHealthCheck") then
                if not log_file then
                    log_file = io.open("/data/logs/access_api_xxxxxx_" .. today .. ".json", "a")
                    log_file_cache:set(today, log_file)
                end

                local log_line = cjson.encode({
                    timestamp = ngx.var.time_iso8601,
                    remote_addr = ngx.var.remote_addr,
                    referer = ngx.var.http_referer,
                    request = ngx.var.request,
                    status = ngx.var.status,
                    bytes = ngx.var.body_bytes_sent,
                    agent = ngx.var.http_user_agent,
                    x_forwarded = ngx.var.http_x_forwarded_for,
                    up_addr = ngx.var.upstream_addr,
                    up_host = ngx.var.upstream_http_host,
                    up_resp_time = ngx.var.upstream_response_time,
                    request_time = ngx.var.request_time,
                    request_GlobalId = ngx.var.http_GlobalId,
                    response_GlobalId = ngx.var.sent_http_GlobalId,
                    response_body = ngx.var.resp_body,
                    request_body = ngx.var.request_body
                })

                log_file:write(log_line .. "\n")
                log_file:flush()
            end
        }

        location / {
            proxy_pass http://api-prod;
        }

        error_log /data/logs/api-error.log error;
    }
}

查看是否在日志文件路径下，日志文件有按照天的维度来分割，观察日志是按照天的维度来分割的，配置完成。验证完成.（这里为了验证服务修改一下时间，观察nginx是否会生成新的日志文件）

[root@iZbp1axxxxxxxxp8q7ioZ logs]# sudo date 081615302024
Fri Aug 16 15:30:00 CST 2024
[root@iZbp1xxxxxxxxxq7ioZ logs]# ll
-rw-rw-rw- 1 app app    58961 Aug 13 15:30 access_api_2024-08-13.json
-rw-rw-rw- 1 app app 22945650 Aug 14 13:51 access_api_2024-08-14.json
-rw-rw-rw- 1 app app    10418 Aug 16 15:30 access_api_2024-08-16.json

运维潇哥
关注
  • 1
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Nginx实战：日志按天分割
龙叔运维的博客
02-11 2562
nginx日志文件建议按照天的维度进行分割，方便快速按照天的维度分析以及查找报错定位。
nginx多server日志分割脚本分享
09-15
综上所述，这个Nginx多Server日志分割脚本是一个高效且实用的工具，它实现了日志的自动备份、分割和压缩，极大地简化了日志管理任务。对于需要管理多个站点的Nginx服务器管理员来说，这样的脚本是必不可少的。通过...
Nginx日志按天分割设置
最新发布
weixin_45390475的博客
05-07 209
问题：网站日志日益增大，导致存储空间不够，且日志文件过大，查询阅读也不方便。在nginx.conf文件里面的http里面用map方法定义一个时间。需求：按天分割日志，定时清理老的日志文件。2、修改站点.conf配置文件。1、map方式定义一个时间。
Nginx 日志按天分割
yihuliunian的博客
09-02 393
nginx 日志分割是比较常见的运维工作，关于这方面的文章也很多，通常无外乎两种做法： 1.cron定期执行shell脚本对日志文件进行归档。2.使用专门日志归档logrotate。 以上方式与nginx其实没有特别的关系。从nginx 0.7.6 版本开始，access_log的路径配置可以包含变量，我们以此进行日志分割。 同时我们基于nginx的 timeiso8601 内嵌变量来获取时间。time_iso8601格式如下： 2018-09-21T16:01:02+02:00 然后使用正则.
Nginx日志按天自动切割
一个有趣、有料、有内涵的地方!
11-19 4017
使用Nginx做反向代理...
linux 按天分割日志,Linux nginx日志按天分割实例
weixin_31011587的博客
05-06 199
nginx的日志有个小缺点，日志文件一直就是一个，不会自动地进行切割，如果访问量很大的话，将导致日志文件非常大，不便于管理这就需要我们自己来实现了，按日期每天生产一个日志文件思路每天零点把默认日志文件改名为当天日期，再重新打开新的日志文件使用定时任务来执行脚本，脚本中执行改名和重新打开日志文件的操作向Nginx主进程发送 USR1 信号，就可以重新打开日志文件实现#/bin/bash#备份日志的路...
nginx日志按天分割
hjrnet的博客
01-23 964
#!/bin/bash   #Rotate the Nginx logs to prevent a single logfile from consuming too much disk space.    LOGS_PATH=/data/logs/nginx YESTERDAY=$(date -d "yesterday" +%Y-%m-%d) cd /data/logs/nginx/ ACCE...
linux下nginx日志按天分割
热门推荐
liangshitian的博客
03-17 2万+
背景 nginx的日志文件没有rotate功能。一段时间过后，日志将越发臃肿，一个accesslog很快就突破2.5G，因此有必要通过脚本实现按天切割日志。 1、将日志文件备份到/usr/local/nginx/logs/historyLog目录下，备份的文件名称是access_yyyyMMdd.log和error_yyyyMMdd.log。 1.创建nginx_logs.sh文件，并授予执...
Nginx日志按日期切割详解（按天切割）
01-20
本文实现的功能是在吗每天凌晨00:00把前一天的Nginx日志access.log重命名为access-xxxx-xx-xx.log格式，例如：access-2016-10-01.log，下面话不多说了，来看看详细的实现方法吧。 实现方法 脚本 vim /opt/nginx/...
nginx日志按天生成和定期删除日志的方法
09-30
本文将详细介绍如何实现Nginx日志按天生成和定期删除，以优化日志管理。 首先，Nginx默认的日志生成方式是将所有访问记录都写入到同一份access.log和error.log文件中，随着时间推移，这些文件可能会变得非常大。...
Windows系统nginx日志分割批处理脚本
12-15
： 为限制 Nginx日志文件大小增加，文件过大，导致无法收缩日志，在配置好的nginx的安装目录下，可以采用批处理文件对日志，根据实际需要的时间进行自动切割，本脚本以天为单位进行保存。对于日志备份功能，因存储...
nginx日志分割 for linux
09-30
标题中提到的"nginx日志分割 for Linux"是一个实用的解决方案，通过编写一个简单的Shell脚本来自动化这个过程。脚本的主要目标是每天定时将Nginx的日志文件切割成按日期命名的新文件，并删除超出指定保留天数的旧...
windows 下 nginx 日志切割
12-10
windows 下nginx 日志切割 结合windows任务计划，实现每天备份日志，并reopen nginx
实现自动定期删除Nginx日志的方法
09-30
在运维管理中，Nginx日志的管理和清理是一项重要的工作。日志文件记录了服务器运行的状态和请求信息，对于故障排查和性能分析至关重要。然而，如果不及时处理，日志文件会持续增长，占用大量磁盘空间。本文将详细...
nginx按天进行日志切割脚本，同样适合其它很多服务日志的切割
12-07
nginx按天进行日志切割脚本，同样适合其它很多服务日志的切割，压缩包包含shell切割脚本和使用说明，该脚本适合nginx同时也适合其他类似服务的日志切割，只要简单修改shell脚本即可，灵活多变，实用。
nginx日志按时间切割.zip
04-16
"nginx日志按时间切割"是常见的日志管理策略，旨在通过定时分割日志文件，避免单个日志文件过大导致的读取性能下降和存储压力。本压缩包提供了一个用于Windows环境的批处理脚本，即`rename-nginx-logs-forwindow.bat...
容器化nginx日志分割、定时压缩、定时删除脚本
02-16
容器化nginx日志分割、定时压缩、定时删除脚本，生产环境亲测无问题
centos中nginx按日期自动分割访问日志的方法
09-15
为了应对上述挑战，我们可以编写Shell脚本来实现Nginx日志的自动按日期分割功能。具体步骤如下： ##### 3.1 编写Shell脚本 首先，我们需要创建一个Shell脚本来实现日志文件的自动分割。以下是一个简单的示例脚本： ...
nginx 日志分割的脚本
03-25
A： 下面是一个简单的 shell 脚本，用于定期将 nginx 访问日志按天分割，并将原始日志文件清空： ``` #!/bin/bash log_dir=/var/log/nginx date=$(date -d yesterday +"%Y-%m-%d") access_log=$log_dir/access.log split_log=$log_dir/access-$date.log # 分割日志 mv $access_log $split_log kill -USR1 $(cat /run/nginx.pid) # 清空原始日志文件 cat /dev/null > $access_log ``` 将此脚本保存为 `nginx-log-split.sh`，并将其添加到 crontab 中，以每天凌晨零点执行一次： ``` 0 0 * * * /bin/bash /path/to/nginx-log-split.sh ``` 脚本执行的过程如下： 1. 获取昨天的日期，并将格式化后的日期作为新日志文件名。 2. 将原始的 nginx 访问日志文件重命名为新日志文件名。 3. 向 nginx 进程发送 USR1 信号，用以通知 nginx 重新打开日志文件，从而产生新的访问日志文件。 4. 清空原始的 nginx 访问日志文件内容。 注意：本脚本仅适用于按天分割 nginx 访问日志，如需按小时或其他方式分割日志，需要根据实际情况进行修改。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值