Nginx日志纳入日志系统

已于 2022-02-17 09:18:02 修改
阅读量1.6k 收藏 2
点赞数
分类专栏： nginx 文章标签： nginx 运维
于 2022-02-16 21:36:25 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_37543627/article/details/122703646
版权

目录

一、日志系统

二、Nginx日志

1. access_log

2. error_log

三、Nginx日志分割

1. 分割脚本nginxLogRotate.sh

2. Linux安装crontab

3. 添加定时任务

4. 启动定时任务并验证

四、Nginx日志纳入日志系统

1. 定义日志文件

2. access_log日志格式及内容

3. filebeat配置

4. storm解析日志

5. ES并Kibana查看

五、参考资料

一、日志系统

        日志系统是基于ELK + Storm完成，解决分布式中多节点日志处理。Nginx日志也纳入到日志系统处理，可以解决Nginx问题查看、总流量、本地缓存命中率等问题。

        Nginx的日志分为两方面：access_log与error_log。其中access_log可以自定义格式及内容；而error_log是基于Linux系统日志（不方便修改）。所以导致两种日志格式不同，但不影响filebeat对打印日志的收集。

        随着Nginx的日志量变大，需要Linux的定时任务crondtab，定时分割Nginx日志（按天分割），这样查询本地日志很方便。

二、Nginx日志

1. access_log

语法：access_log path [format [buffer=size [flush=time]]]；

默认值：access_log logs/access.log combined；

配置段：http， server，location；

http {

	# 定义日志格式
    log_format  main  '$remote_addr - $remote_user [$time_local] "$request" '
                      '$status $body_bytes_sent "$http_referer" '
                      '"$http_user_agent" "$http_x_forwarded_for"';
	log_format json '$time_iso8601 | {"timestamp": "$time_iso8601", '
                '"remoteAddr": "$remote_addr", '
                '"remoteUser": "$remote_user", '
                '"bodyBytesSent": "$body_bytes_sent", '
                '"requestTime": "$request_time", '
                '"upstreamResponseTime": "$upstream_response_time", '
                '"status": "$status", '
                '"host": "$host", '
                '"request": "$request", '
                '"requestMethod": "$request_method", '
                '"uri": "$uri", '
                '"httpReferrer": "$http_referer", '
                '"size": "$body_bytes_sent", '
                '"userIp": "$http_x_forwarded_for", '
				'"mobile": "$http_Mobile", '
				'"token": "$http_UserToken", '
				'"channel": "$http_Channel", '
				'"appVersion": "$http_AppVersion", '
                '"userAgent": "$http_user_agent" '
                '}';

	# 定义访问日志
    access_log  logs/access.log  json;
	# 关闭访问记录
	# access_log off;

}

2. error_log

语法：error_log file | stderr | syslog:server=address[,parameter=value] [debug | info | notice |

        warn | error | crit | alert | emerg]；

默认值：error_log logs/error.log error；

配置段：main，http，server，location；

#error_log  logs/error.log;
#error_log  logs/error.log  notice;
#error_log  logs/error.log  info;


http {
    
	# 自定义日志
	error_log logs/LOG_COMMON.log debug;
	error_log logs/LOG_INFO.log info;

}

三、Nginx日志分割

        Nginx长期使用，导致Nginx日志文件越来越大打开很慢，这就需要日志分割。思路是Linux定时器定时执行启动Nginx，复制日志到其他文件中即可。

1. 分割脚本nginxLogRotate.sh

#!/bin/bash

#设置日志文件存放目录
LOG_HOME="/usr/local/openresty/nginx/logs"
PID=$LOG_HOME/nginx.pid

#备分文件名称
LOG_DATE=$(date -d yesterday +"%Y-%m-%d-%H-%M")

# 获取当前年信息和月信息
LOG_DIR=$(date -d yesterday +"%Y%m")
# 获取昨天的日信息
# day=$(date -d yesterday +"%d")
# 按年月创建文件夹
mkdir -p $LOG_HOME/$LOG_DIR

#重命名日志文件
mv $LOG_HOME/access.log $LOG_HOME/$LOG_DIR/access.$LOG_DATE.log
#等3秒后执行下一条
sleep 3
mv $LOG_HOME/error.log $LOG_HOME/$LOG_DIR/error.$LOG_DATE.log
sleep 3
mv $LOG_HOME/LOG_COMMON.log $LOG_HOME/$LOG_DIR/LOG_COMMON.$LOG_DATE.log
sleep 3
mv $LOG_HOME/LOG_INFO.log $LOG_HOME/$LOG_DIR/LOG_INFO.$LOG_DATE.log
sleep 3

# 通过Nginx信号量控制重读日志
kill -USR1 `cat $PID`

2. Linux安装crontab

yum install vixie-cron crontabs     

3. 添加定时任务

修改定时任务：crontab -e

任务内容：定时启动nginx：*/2 * * * * /usr/local/openresty/nginx/logs/nginxLogRotate.sh

查看所有定时任务：crontab -l

4. 启动定时任务并验证

crond start/stop/reload/restart

四、Nginx日志纳入日志系统

1. 定义日志文件

访问日志：access_log  logs/access.log  json;
错误日志：error_log logs/error.log error;
通用日志：error_log logs/LOG_COMMON.log debug;
INFO日志：error_log logs/LOG_INFO.log info;

注意：access_log可以自定义格式，但error_log不能；LOG_COMMON是通用日志，不搜集。

2. access_log日志格式及内容

log_format json '$time_iso8601 | {"timestamp": "$time_iso8601", '
                '"remoteAddr": "$remote_addr", '
                '"remoteUser": "$remote_user", '
                '"bodyBytesSent": "$body_bytes_sent", '
                '"requestTime": "$request_time", '
                '"upstreamResponseTime": "$upstream_response_time", '
                '"status": "$status", '
                '"host": "$host", '
                '"request": "$request", '
                '"requestMethod": "$request_method", '
                '"uri": "$uri", '
                '"httpReferrer": "$http_referer", '
                '"size": "$body_bytes_sent", '
                '"userIp": "$http_x_forwarded_for", '
				'"mobile": "$http_Mobile", '
				'"token": "$http_UserToken", '
				'"channel": "$http_Channel", '
				'"appVersion": "$http_AppVersion", '
                '"userAgent": "$http_user_agent" '
                '}';

3. filebeat配置

# Nginx日志
- type: log
  enabled: true
  paths:
    - /usr/local/openresty/nginx/logs/access.log
  fields: 
    log_type: NGINX_LOG_ACCESS
- type: log
  enabled: true
  paths:
    - /usr/local/openresty/nginx/logs/error.log
  fields: 
    log_type: NGINX_LOG_ERROR
- type: log
  enabled: true
  paths:
    - /usr/local/openresty/nginx/logs/LOG_INFO.log
  fields: 
    log_type: NGINX_LOG_INFO

4. storm解析日志

a. 实体类

package com.migu.storm.entity.nginx;

import com.migu.storm.entity.LogFileBeatContent;
import lombok.Data;

/**
 * @description Nginx日志FileBeat信息
 * @author tcm
 * @version 1.0.0
 * @date 2022/1/25 10:02
 **/
@Data
public class NginxLogFileBeat {

    // 日志FileBeat信息
    private LogFileBeatContent logFileBeatContent;

}

package com.migu.storm.entity.nginx;

import lombok.Data;

/**
 * @description Nginx的access日志
 * @author tcm
 * @version 1.0.0
 * @date 2022/1/25 9:26
 **/
@Data
public class NginxLogAccess extends NginxLogFileBeat {

    // 请求时间戳
    private String timestamp;
    // 请求IP
    private String remoteAddr;
    // 请求用户
//    private String remoteUser;
    // 请求服务器主机：IP + PORT
    private String host;
    // 请求信息：请求方式 + 请求URI + HTTP版本号
    private String request;
    // 请求方式
    private String requestMethod;
    // 请求URI
    private String uri;
    // 请求引用页面地址
//    private String httpReferrer;
    // 用户真实IP地址
//    private String userIp;
    // 手机号
    private String mobile;
    // token
    private String token;
    // 终端类型
    private String channel;
    // 版本号
    private String appVersion;
    // 请求代理
    private String userAgent;
    // 从upstream获取响应的处理时间
    private String upstreamResponseTime;
    // 响应状态
    private String status;
    // 响应体字节数
    private String bodyBytesSent;
    // 请求处理时间
    private String requestTime;
    // 日志内容
    private String message;

}

package com.migu.storm.entity.nginx;

import lombok.Data;

/**
 * @description Nginx的error日志
 * @author tcm
 * @version 1.0.0
 * @date 2022/1/25 10:07
 **/
@Data
public class NginxLogError extends NginxLogFileBeat {

    // 时间戳
    private String timestamp;
    // 日志级别
    private String logLevel;
    // 日志内容
    private String message;

}

package com.migu.storm.entity.nginx;

import lombok.Data;

/**
 * @description Nginx的INFO日志
 * @author tcm
 * @version 1.0.0
 * @date 2022/1/25 10:16
 **/
@Data
public class NginxLogInfo extends NginxLogFileBeat{

    // 时间戳
    private String timestamp;
    // 日志级别
    private String logLevel;
    // 日志内容
    private String message;

}

b. Bolt类

package com.migu.storm.bolt;

import com.alibaba.fastjson.JSON;
import com.alibaba.fastjson.JSONObject;
import com.migu.storm.config.ESConfig;
import com.migu.storm.entity.LogFileBeatContent;
import com.migu.storm.entity.nginx.NginxLogAccess;
import com.migu.storm.entity.nginx.NginxLogInfo;
import com.migu.storm.entity.nginx.NginxLogError;
import com.migu.storm.enumeration.NginxLogType;
import com.migu.storm.util.DateUtil;
import org.apache.storm.task.TopologyContext;
import org.apache.storm.topology.BasicOutputCollector;
import org.apache.storm.topology.OutputFieldsDeclarer;
import org.apache.storm.topology.base.BaseBasicBolt;
import org.apache.storm.tuple.Tuple;
import org.elasticsearch.action.bulk.BulkProcessor;
import org.elasticsearch.action.index.IndexRequest;

import java.util.Date;
import java.util.Map;
import java.util.Properties;

/**
 * @description 索引index格式：nginx-日期，如：nginx-2021-03-19
 * @author tcm
 * @version 1.0.0
 * @date 2022/1/25 10:29
 **/
public class NginxLogESBolt extends BaseBasicBolt {
    private Properties properties;

    // ES批量写入：线程安全的批量处理类
    private BulkProcessor bulkProcessor;

    public NginxLogESBolt(Properties properties) {
        this.properties = properties;
    }

    @Override
    public void execute(Tuple tuple, BasicOutputCollector collector) {
        try {
            // 日志公用字段
            String logFileBeatStr = tuple.getStringByField("logFileBeatContent");
            LogFileBeatContent logFileBeatContent = JSON.parseObject(logFileBeatStr, LogFileBeatContent.class);
            // 日志内容
            String message = tuple.getStringByField("message");

            // 索引 - 服务应用名称
            Date timestamp = new Date();
            String index = properties.getProperty("NGINX_LOG") + "-" + DateUtil.dateToString(timestamp);

            // access日志，格式："日期 | 对象{}"
            if (NginxLogType.NGINX_LOG_ACCESS.name().equals(logFileBeatContent.getLogType())){
                // 转access对象
                String[] messageArray = message.split("\\|");
                if (messageArray.length > 0) {
                    message = messageArray[1].trim();

                    NginxLogAccess nginxLogAccess = JSON.parseObject(message, NginxLogAccess.class);
                    nginxLogAccess.setMessage(message);
                    nginxLogAccess.setLogFileBeatContent(logFileBeatContent);

                    JSONObject jsonObject = JSON.parseObject(JSON.toJSONString(nginxLogAccess));
                    bulkProcessor.add(new IndexRequest(index).source(jsonObject));
                }
            }
            // error日志
            else if (NginxLogType.NGINX_LOG_ERROR.name().equals(logFileBeatContent.getLogType())) {
                // 转error对象
                NginxLogError nginxLogError = new NginxLogError();
                nginxLogError.setMessage(message);
                nginxLogError.setLogFileBeatContent(logFileBeatContent);

                // 内容
                String[] messageArray = message.split("\\[");
                if (messageArray.length > 0) {
                    // 时间戳
                    Date date = DateUtil.stringToDate(messageArray[0].trim(), "yyyy/MM/dd HH:mm:ss");
                    nginxLogError.setTimestamp(DateUtil.dateToString(date, "yyyy-MM-dd'T'HH:mm:ss.SSS'Z'"));
                    // 日志级别
                    String logLevel = messageArray[1].split("\\]")[0].trim();
                    nginxLogError.setLogLevel(logLevel);
                }

                JSONObject jsonObject = JSON.parseObject(JSON.toJSONString(nginxLogError));
                bulkProcessor.add(new IndexRequest(index).source(jsonObject));
            }
            // info日志
            else if (NginxLogType.NGINX_LOG_INFO.name().equals(logFileBeatContent.getLogType())) {
                // 转common对象
                NginxLogInfo nginxLogInfo = new NginxLogInfo();
                nginxLogInfo.setMessage(message);
                nginxLogInfo.setLogFileBeatContent(logFileBeatContent);

                // 内容
                String[] messageArray = message.split("\\[");
                if (messageArray.length > 0) {
                    // 时间戳
                    Date date = DateUtil.stringToDate(messageArray[0].trim(), "yyyy/MM/dd HH:mm:ss");
                    nginxLogInfo.setTimestamp(DateUtil.dateToString(date, "yyyy-MM-dd'T'HH:mm:ss.SSS'Z'"));
                    // 日志级别
                    String logLevel = messageArray[1].split("\\]")[0].trim();
                    nginxLogInfo.setLogLevel(logLevel);
                }

                JSONObject jsonObject = JSON.parseObject(JSON.toJSONString(nginxLogInfo));
                bulkProcessor.add(new IndexRequest(index).source(jsonObject));
            }
        } catch (Exception e) {
            e.printStackTrace();
        }
    }

    @Override
    public void declareOutputFields(OutputFieldsDeclarer declarer) {

    }

    /**
     * execute前，准备操作
     * @param stormConf
     * @param context Topology的基本信息
     */
    @Override
    public void prepare(Map stormConf, TopologyContext context) {
        super.prepare(stormConf, context);

        // ES批量写入：BulkProcessor
        this.bulkProcessor = new ESConfig(properties).getBulkProcessor();
//        this.bulkProcessor = bulkProcessor();
    }

}

5. ES并Kibana查看

五、参考资料

日志系统_爱我所爱0505-CSDN博客

https://www.jb51.net/article/117879.htm

https://www.jb51.net/article/52573.htm

Nginx修改日志格式 日志分析 字段分离 ES数据格式的转换及nginx日志参数详解_wpskdsl的博客-CSDN博客

Nginx日志按天切割及日志基本配置说明_黄太洪的博客-CSDN博客_nginx日志按日配置

对Linux定时任务的认识 - 程序员大本营

Nginx Unique Tracing ID_四火流年的博客-CSDN博客_nginx traceid 

爱我所爱0505
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
windows下Nginx日志处理脚本
09-30
我们有一个装饰装修网站 灯碟 ，我们的web服务器是Nginx。每次日志Down下了后懒得传到Linux服务器上进行处理，所以出品了这个脚本。方便实用，站长必备良器
python过滤nginx access日志存入数据库中
weixin_33795093的博客
02-23 359
将nginx的access日志文件发送至日志服务器的514端口，在access_log下添加一行 access_log syslog:server=192.168.230.1,facility=local7,tag=nginx_access_log,severity=info; 复制代码 重启nginx与rsyslog 编写python文件 import socket impo...
【Nginx】如何配置Nginx日志？这是最全面的一篇了！！
最新发布
2401_84010865的博客
04-19 584
反向代理服务器在转发请求的 http 头信息中，可以增加 X-ForwardedFor 信息，用来记录 客户端 IP 地址和客户端请求的服务器地址。如果 nginx 位于负载均衡器， squid， nginx 反向代理之后， web 服务器无法直接获取到客户端真实的 IP 地址了。min_uses:设置在 inactive 时间段内，日志文件最少使用多少次后，该日志文件描述符记入缓存中，默认是 1 次。$remote_addr, $http_x_forwarded_for 记录客户端 IP 地址。
ngx的访问日志access.log
桑
03-30 2218
格式
Nginx系统学习 -日志
戴晨的博客
03-21 180
Nginx变量 HTTP请求变量 arg_PARAMETER、http_HEADER、sent_http_HEADER HEADER替换指定header，横杠换下划线 比如 user-agent 就是 http_user_agent 内置变量 Nginx内置 http://nginx.org/en/docs/syslog.html 自定义变量 自己定义 日志配置 error.log user ...
Linux中级实战专题篇三：nginx服务（日志介绍，作用域，格式定义，流量控制，访问控制模块，用户信任登录）
chenshuai199533的博客
05-14 5096
Linux中级实战专题篇三：nginx服务（日志介绍，作用域，格式定义，流量控制，访问控制模块，用户信任登录）
apache 访问日志access_log 配置和解析 rotatelogs分割日志
niuniu6070的博客
11-09 1661
（以2开头的状态码表示成功，以3开头的状态码表示由于各种不同的原因用户请求被重定向到了其他位置，以4开头的状态代码表示客户端存在某种错误，以5开头的状态代码表示服务器遇到了某个错误）。（5）日志记录的第五项信息或许是整个日志记录中最有用的信息，它告诉我们服务器受到的是一个什么样的请求。在这个例子中，浏览者请求的是“／”，即网站的根或者主页。（可以要求apache查出所有的主机名字，并在日志文件中用主机名字来替代ＩＰ地址，但这种做法会极大的影响服务器记录日志的速度，从而降低整个网站的效率，不值得推荐）。
nginx错误日志入库小程序
Jsxiao的博客
02-27 274
nginx错误日志入库小程序 为了独立记录nginx_error日志来自定义一些ip策略阻挡攻击，这里把所有nginx服务器的错误日志入库来进行统一处理，代码如下,然后结合supervisor来使用： #!/usr/bin/env python # -*- coding:utf-8 -*- # __author__ = 'xiaojinsong' # __time__ = '2018/2/27...
Linux的accesslog路径,Linux服务器access_log日志分析及配置详解（二）
weixin_42294495的博客
05-02 4887
默认nginx / Linux日志在哪个文件夹？一般在 xxx.xxx.xxxx.com/home/admin 路径下面的error.log文件和access.log文件error_log logs/error.log; #错误日志access_log logs/access.log; #访问日志1. access_log 访问日志access_log为访问日志,记录所有对apache服...
nginx配置log转发到日审设备
mikumiku~
04-29 2664
nginx配置log转发到日审设备的两种方法，包括不重启ng影响客户业务的情况下下进行日志转发
windows 下 nginx 日志切割
12-10
windows 下nginx 日志切割 结合windows任务计划，实现每天备份日志，并reopen nginx
Nginx日志分析工具2.1.0.zip
06-11
windows版Nginx日志分析工具2.1.0
linux Nginx 日志脚本
09-15
主要介绍了nginx日志切割脚本、nginx日志分析脚本等，需要的朋友可以参考下
Python解析nginx日志文件
09-22
Web服务器的各种系统管理工作包括了多Nginx/Apache 日志的统计，python使这个任务变得极其简单，下面我们来详细讲解下具体的做法，有需要的小伙伴可以参考下。
Linux系统怎么分析Nginx日志
07-25
也许在目前许多学者都不知道如何分析Nginx日志，Linux系统日志下的Nginx 日志可以查看系统运行记录和出错说明，对Nginx 日志的分析可以了解系统运行的状态。那么Linux系统Nginx日志怎么分析呢？下面小编为你详解一下...
nginx 日志解析
Henry_Lin_Wind的博客
06-24 1万+
设置nginx日志格式 默认变量格式：log_format combined '$remote_addr - $remote_user [$time_local] "$request" $status $body_bytes_sent "$http_referer" "$http_user_agent"'; $remote_addr变量：记录了客户端的IP地址（普通情况下）。 $remote_user变量：当nginx开启了用户认证功能后，此变量记录了客户端使用了哪个用户进行了认证。 $time_l
shell脚本nginx日志解析入库
yuxinchen的博客
02-24 1501
#!/bin/sh #获取nigin日志 log_path='/usr/local/nginx/logs/access.log' cat $log_path | while read line do #判断该条信息是否为我们需要 if [[ $line == *'eleId='* ]] then     #替换中=和&的转译符 $line=${line//
Nginx错误日志（error_log）配置及信息详解
热门推荐
Sweeneys的博客
12-20 2万+
转载自： https://www.phpriji.cn/blog/detail/20181126132625gvxblv.html Nginx软件会把自身运行的故障信息及用户访问的日志信息记录到指定的日志文件里。包括 PHP 的报错信息，方便查错，例如： 2018/11/26 09:59:17 [error] 11641#0: *38857054 FastCGI sent in stder...
nginx配置系列（一）nginx配置语法解读
萌兔兔MMQ！！
04-29 3543
一、nginx的安装 安装就不说了… 二、nginx的配置文件解释 2.1、快速入门 main（全局设置），main部分设置的指令将影响其它所有部分的设置； http(http服务器设置)，http标准核心模块，http服务的相应配置； server（主机设置） 接收请求的服务器需要将不同的请求按规则转发到不同的后端服务器上，在 nginx 中我们可以通过创建虚拟主机（server）的概念来将这些不同的服务配置隔离。 location（URL匹配特定位置后的设置） location部分用于匹配网页位置（比如
linux系统nginx日志
05-24
Linux系统下的Nginx日志一般存储在`/var/log/nginx/`目录下。其中常见的日志文件包括： - access.log：记录Nginx服务器接收到的请求信息，包括请求的IP地址、请求的时间、请求的URL、响应的状态码等信息。 - error.log：记录Nginx服务器的错误信息，比如无法处理请求、无法找到文件等问题。 - other_vhosts_access.log：如果Nginx服务器上同时运行多个虚拟主机，那么每个虚拟主机都会有一个对应的日志文件，用于记录该虚拟主机接收到的请求信息。 除此之外，Nginx还可以通过配置文件来定义自定义日志格式，并将日志输出到指定的文件或者远程服务器。例如，可以使用以下配置来将Nginx的访问日志输出到指定文件： ``` http { # 定义自定义日志格式 log_format mylog '$remote_addr - $remote_user [$time_local] "$request" ' '$status $body_bytes_sent "$http_referer" ' '"$http_user_agent" "$http_x_forwarded_for"'; # 将访问日志输出到指定文件 access_log /var/log/nginx/access.log mylog; } ```

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值