nginx（二）---Nginx 日志Log

最新推荐文章于 2024-04-17 15:51:53 发布
最新推荐文章于 2024-04-17 15:51:53 发布
阅读量6.5k 收藏 7
点赞数 1
分类专栏： nginx 文章标签： nginx 运维 服务器
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_47800859/article/details/128795196
版权
  1. 日志配置
  2. 日志轮转/切割
  3. 日志分析

1.日志配置

        1.1日志模块

官方文档    http://nginx.org/en/docs/http/ngx_http_log_module.html

日志模块的名称            ngx_http_log_module

        1.2相关指令

log_format         日志格式

access_log         访问日志
error_log          错误日志

open_log_file_cache          日志缓存

        1.3日志的格式和命令

        log_format

        （一）简介

Nginx有非常灵活的日志记录模式。每个级别的配置可以有各自独立的访问日志。日志格式通过log_format命令定义。

        （二）语法

Syntax: log_format name [escape=default|json] string ...;
    name 表示格式名称
    string 表示定义的格式

         （三）默认值

Default: log_format combined "...";
    log_format 有默认的无需设置的combined日志格式，相当于apache的combined日志格式

        （四）网站代理LB

例如代理服务器的日志格式就不同  ：

如果Nginx位于负载均衡器，squid，nginx反向代理之后，web服务器无法直接获取到客户端真实的IP地址。
$remote_addr获取的是反向代理的IP地址。反向代理服务器在转发请求的http头信息中，可以增加X-Forwarded-For信息，
用来记录客户端IP地址和客户端请求的服务器地址。

nginx代理日志格式如下：
    log_format porxy '$http_x_forwarded_for - $remote_user [$time_local] '
' "$request" $status $body_bytes_sent '
' "$http_referer" "$http_user_agent" ';

        （五）定义设置位置：vim /etc/nginx/nginx.conf

    log_format  main  '$remote_addr - $remote_user [$time_local] "$request" '
                      '$status $body_bytes_sent "$http_referer" '
                      '"$http_user_agent" "$http_x_forwarded_for"';

日志格式允许包含的变量：

$remote_addr,     远程地址： 记录客户端IP地址

$remote_user    远程用户：记录客户端用户名称

[$time_local]    本地时间：服务器自身时间

$request         请求：记录请求的URL和HTTP协议：

"GET /1.html HTTP/1.1"                "GET /index.html HTTP/1.1"

$status           状态：记录请求状态：

200   404   503   100   301

$body_bytes_sent     发送给客户端的字节数，不包括响应头的大小

$http_referer     记录从哪个页面链接访问过来的  （超链接）

$http_user_agent     记录客户端浏览器相关信息        火狐       IE

$http_x_forwarded_for    代理IP

old：

$request_length     请求的长度（包括请求行，请求头和请求正文）。
$request_time     请求处理时间，单位为秒，精度毫秒； 从读入客户端的第一个字节开始，直到把最后一个字符发送给客户端后进行日志写入为止。
$time_iso8601     ISO8601标准格式下的本地时间。
$bytes_sent     发送给客户端的总字节数    （可在主配置文件中，增加此项观c）
$msec     日志写入时间。单位为秒，精度是毫秒。

        （六）提示：总有一个404提示

       favicon.ico 文件是浏览器收藏网址时显示的图标，当第一次访问页面时，浏览器会自动发起请求获取页面的favicon.ico文件。当/favicon.ico文件不存在时，服务器会记录404日志。

   127.0.0.1 - - [26/Jul/2015:22:25:07 +0800] “GET /favicon.ico HTTP/1.1” 404 168 “-” “Mozilla/5.0 (Macintosh; Intel Mac OS X 10.10; rv:36.0) Gecko/20100101 Firefox/36.0” “-”
    127.0.0.1 - - [26/Jul/2015:22:25:07 +0800] “GET /favicon.ico HTTP/1.1” 404 168 “-” “Mozilla/5.0 (Macintosh; Intel Mac OS X 10.10; rv:36.0) Gecko/20100101 Firefox/36.0” “-“

        解决办法

当一个站点没有设置favicon.ico时，access.log会记录了大量favicon.ico 404信息。

这样有两个缺点：
1.使access.log文件变大，记录很多没有用的数据。
2.因为大部分是favicon.ico 404信息，当要查看信息时，会影响搜寻效率。

解决方法如下：
在nginx的配置中加入

location = /favicon.ico {
  log_not_found off;
  access_log off;
}
以上配置说明：
location = /favicon.ico 表示当访问/favicon.ico时，
log_not_found off 关闭日志
access_log off 不记录在access.log

完整配置如下：

server {
  listen        80;
  server_name   fdipzone.com;
  root          /Users/fdipzone/home;

  access_log /var/log/nginx/access.log main;
  error_log /var/log/nginx/error.log debug;

  location = /favicon.ico {
    log_not_found off;
    access_log off;
  }

  location / {
    index  index.html index.htm index.php;
    include      /usr/local/etc/nginx/conf.d/php-fpm;
  }
}

        1.4访问日志和错误日志：access_log      error_log

        案例：

某条日志记录：
    192.168.100.254 - - [17/Dec/2017:14:45:59 +0800] "GET /nginx-logo.png HTTP/1.1" 200 368 "http://192.168.100.10/" "Mozilla/5.0 (Windows NT 6.1; WOW64; rv:57.0) Gecko/20100101 Firefox/57.0" "-"

某条日志记录含义：
    192.远程主机IP
    - -   用户
    【2017】时间
    get获得，下载，还有post提交。
     /nginx-logo.png  下载图片
    http版本
    状态码 什么结果。对，还是错
    368 大小
    引用自哪个连接，主页http://192.168.100.10/
    Mozilla 5.0浏览器的版本
    Windows NT 客户端系统类型
    -远程客户端主机地址  

        1.5日志缓存

        （一）简介

大量访问到来时，对于每一条日志记录，都将是先打开文件，再写入日志，然后关闭.占用了系统的IO,与业务无关。
可以使用open_log_file_cache来设

Syntax:

open_log_file_cache max=1000 inactive=20s min_uses=3 valid=1m ;

max 1000 指的是日志文件的FD，最大的缓存数量为1000。超了怎么办，看下面
min_users 3    20秒内小于3次访问的FD，就给你清掉，结合inactive 20s 的时间。
valid  1m  检查周期为1分钟。 
总结：缓存最多1000个，到了极限,每分钟开始清除掉  20秒内小于3次的文件FD.

Default:    open_log_file_cache off;

Context:    http, server, locatition

http{} 将整个服务器所有网站，所有页面的日志进行缓存
server{} 将某一个网站的所有页面日志，进行缓存
location{}某一个页面的日志，进行缓存。

2.日志轮转/切割

        2.1概况

Nginx安装，会默认启动日志轮转。

rpm  -ql nginx| grep log
    /etc/logrotate.d/nginx
    /var/log/nginx

        2.2观察日志轮转的含义

vim /etc/logrotate.d/nginx   ：

/var/log/nginx/*log {    待切割的日志

create 0644 nginx nginx    创建新的日志文件，属主

daily    天

rotate 10     保留10份

missingok    丢失不提示

notifempty    空文件的话,不转储（轮转）

compress    压缩

sharedscripts    轮转后脚本

postrotate

 /bin/kill -USR1 `cat /run/nginx.pid 2>/dev/null` 2>/dev/null || true    ：
    USR1亦通常被用来告知应用程序重载配置文件；例如，向Apache HTTP服务器发送一个USR1信号将导致以下步骤的发生：停止接受新的连接，等待当前连接停止，重新载入配置文件，重新打开日志文件，重启服务器，从而实现相对平滑的不关机的更改。

endscript

}

        2.3轮转语句

指令 /usr/sbin/logrotate -s /var/lib/logrotate/logrotate.status /etc/logrotate.conf

        2.4切割原理回顾

1.cron每小时呼唤一次anacron         vim /etc/cron.hourly/0anacron

2.anacrontab以天，周，月循环往复         vim /etc/anacrontab

3.天循环          vim /etc/cron.daily/logrotate

4.立刻循环    指令 /usr/sbin/logrotate -s /var/lib/logrotate/logrotate.status /etc/logrotate.conf

5.anacron当天的时间戳    vim /var/spool/anacron/cron.daily
6.anacron循环后的时间戳            vim /var/lib/logrotate/logrotate.status

"/var/log/nginx/host.404.log" 2017-11-19-0:8:56
根据该时间确定是否轮转。

3.日志分析：准备好一份日志

        3.1常用字段

$remote_addr    $1             远程客户端地址
$time_local        $4              本机时间
$request           $7                请求URL
$status             $9                 状态码
$body_bytes_sent $10         请求体积

        3.2测试

        （一）统计2017年9月5日 PV量

grep '05/Sep/2017' cd.mobiletrain.org.log |wc -l

         8点-9点间的PV量

grep '05/Sep/2017:08' sz.mobiletrain.org.log  |wc -l

awk '$4>="[05/Sep/2017:08:00:00" && $4<="[05/Sep/2017:09:00:00" {print $0}'  sz.mobiletrain.org.log | wc -l

        （二）  统计2017年9月5日 一天内访问最多的10个IP（ip top10）

grep '05/Sep/2017' cd.mobiletrain.org.log | awk '{ ips[$1]++ } END{for(i in ips){print i,ips[i]} } '| sort -k2 -rn | head -n10

        （三）统计2017年9月5日 访问大于100次的IP 

 grep '05/Sep/2017' cd.mobiletrain.org.log | awk '{ ips[$1]++ } END{for(i in ips){ if(ips[i]>100)  {print i,ips[i]}} } '| sort -k2 -rn | head -n10 

        （四） 统计2017年9月5日 访问最多的10个页面（$request top 10）

grep '05/Sep/2017' cd.mobiletrain.org.log |awk '{urls[$7]++} END{for(i in urls){print urls[i],i}}' |sort -k1 -rn |head -n10

        （五）统计2017年9月5日 每个URL访问内容总大小（$body_bytes_sent）

grep '05/Sep/2017' sz.mobiletrain.org.log | awk '{ urls[$7]++; size[$7]+=$10} END{for(i in urls){print urls[i],size[i],i}}' | sort -k1 -rn | head -n10 

        （六）统计2017年9月5日 每个IP访问状态码数量（$status） 

grep '05/Sep/2017' cd.mobiletrain.org.log | awk '{ip_code[$1" "$9]++} END{ for(i in ip_code){ print i,ip_code[i] } }' | sort -k3 -rn | head -n10

 

        （七） 统计2017年9月5日 每个IP访问状态码为404及出现次数（$status）

 grep '05/Sep/2017' sz.mobiletrain.org.log | awk '{if($9=="404"){ip_code[$1" "$9]++}} END{for(i in ip_code){print i,ip_code[i]}}'

         (八)统计前一分钟的PV量

date=$(date -d '-1 minute' +%d/%b/%Y:%H:%M);

awk  -v date=$date '$0 ~ date {i++}  END{print i}'  sz.mobiletrain.org.log

shell中的变量在awk程序中无法使用，因为在执行AWK时，是一个新的进程去处理的，因此就需要-v 来向awk程序中传参数了，你比如在shell程序中有一个变量a=15，你在awk程序中直接使用变量a是不行的，而你用awk -v b=a， 这样在AWK程序中就可以使用变量b了！也就相当于使用a了！ 

# date=$(date -d '-1 minute' +%Y:%H:%M);  awk -v date=$date '$0 ~ date{i++}END{print i}' /var/log/nginx/xuleilinux.access.log 

        （九）统计2017年9月5日 8:30－9:00，每个IP，出现404状态码的数量

awk '$4>="[05/Sep/2017:08:30:00" && $4<="[05/Sep/2017:09:00:00" {if($9=="404"){ip_code[$1" "$9]++}}END{for(i in ip_code){print i,ip_code[i]}}' sz.mobiletrain.org.log 

         （十）统计2017年9月5日 各种状态码数量

grep '05/Sep/2017' sz.mobiletrain.org.log  | awk '{code[$9]++} END{for(i in code){print i,code[i]}}'

         百分比

grep '05/Sep/2017' sz.mobiletrain.org.log | awk '{code[$9]++;total++} END{for(i in code){printf i" ";printf code[i]"\t";printf "%.2f",code[i]/total*100;print "%"}}'

 

while(a);
关注
  • 1
    点赞
  • 踩
  • 7
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Nginx-Log-Analyzer
03-15
Nginx日志分析器 一个简易的nginx log分析器，你值得拥有！本项目采用，瑞民族之光幸（Java）开发 硬性条件 请【最高，最低，最低限度】将nginx日志格式设置为如下格式 log_format main '$remote_addr #$http_x_forwarded_for #$time_local #$status ' '#$ssl_protocol #$ssl_cipher #$upstream_addr #$upstream_response_time ' '#$body_bytes_sent #$request_time #$remote_user #$request ' '#$http_referer #$http_user_agent'; 环境要求 oracle jdk
prometheus-nginxlog-exporter:将指标从Nginx访问日志文件导出到Prometheus
05-01
NGINX到Prometheus日志文件导出器 不断读取NGINX日志文件（或任何类似日志文件）并将度量导出到帮助程序工具。 内容 配置文件 高级功能 命名空间作为标签 自定义标签直通 日志来源 动态重新贴标签 文件球 JSON log_format 经常问的问题 学分 用法 您可以使用简单的配置（使用命令行标志），也可以使用更高级的配置创建配置文件。 使用命令行： $ ./prometheus-nginxlog-exporter \ -format="<FORMAT>" \ -listen-port=4040 \ -namespace=nginx \ [PATHS-TO-LOGFILES...] 使用配置文件： $ ./prometheus-nginxlog-exporter -config-file /path/to/config.hcl 您可
Nginx错误日志（error_log）配置及信息详解_nginx log crit
最新发布
2401_84265802的博客
04-17 937
vi编辑虚拟主机配置文件文件内容：server {listen 80;#新增内容↑。
nginx-log-generator:一个很小的Go实用程序，可以快速生成大量逼真的Nginx日志
05-22
Nginx日志生成器 一个很小的Go实用程序，可以快速生成大量逼真的Nginx日志。 编写该文档是为了帮助测试日志记录管道和其他此类工具，并在Kubernetes中对其进行演示。 大部分工作都是由令人惊叹的库完成的，还有一些额外的工作可以使结果偏向典型值。 用法 最重要的步骤是在RATE环境变量中设置所需的速率。 最简单的方法如下： $ # Will generate 10 entries per second $ RATE=10 ./nginx-log-generator 之所以成为环境变量，是因为它也更容易通过Docker运行： $ docker pull kscarlett/nginx-log-generator $ docker run -e " RATE=10 " kscarlett/nginx-log-generator 笔记 这是我立即制作的工具，因为我需要一秒钟就能
nginx日志log
weixin_46946629的博客
09-15 7967
一.日志配置 1.相关指令：log_format,access_log,error_log,open_log_file_cache 2.日志格式：log_format vim /etc/nginx/nginx.conf $remote_addr远程地址： 记录客户端IP地址 $remote_user远程用户：记录客户端用户名称 [$time_local] 本地时间：服务器自身时间 $request请求：记录请求的URL和HTTP协议(后面的http/1.1)协议版本 ...
【Nginx 日志配置】【访问日志log_format】【错误日志error_log 指令】【Nginx的日志轮转】
mingqing的博客
10-09 3840
文章目录Nginx 日志配置`log_format` 指令中常用的一些变量：访问日志 案例可以配置段：`http`, `stream`, `server`, `location`作用域。error_log 指令 错误访问日志 级别rewrite_log 指令 用户跳转日志 一般不用Nginx 日志配置总结Nginx的日志轮转** Nginx 日志配置 1、Nginx 日志介绍 Nginx 有一个非常灵活的日志记录模式,每个级别的配置可以有各自独立的访问日志, 所需日志模块 ngx_http_log_
Nginx 的日志
HONEY MOOSE
05-09 2万+
Nginx 的日志主要有 2 个，一个是access.log， 一个是error.log。 如果你不进行任何配置的话，这 2 个日志将会使用默认的日志配置，这个日志将会位于 /var/log/nginx目录中。 针对虚拟主机的配置 如果你使用了 Nginx 为虚拟主机的话。 那么你可以在你的虚拟主机的配置文件中配置针对每一个特定的虚拟主机输出的日志路径。 例如我们针对虚拟主机的配置。 这样针对这个虚拟主机的所有访问将会把日志设置到你设定的文件中了。 同时我们也建议使用...
Nginx教程(三) Nginx日志管理
jiaoqi6132的博客
04-26 4762
打开nginx.conf配置文件去掉#注释见下图：自定义某一个server配置的日志，使用“main”日志格式。日志生成的到Nginx根目录logs/access.log文件，默认使用“main”日志格式，也可以自定义格式。重新读取加载Nginx配置文件：执行命令：nginx-s reload查看日志文件：执行命令：tail -100f /usr/local/nginx/logs/abc.access.log。
nginx日志详解
YHJ
06-09 2万+
一、nginx日志介绍 Nginx日志对于统计、系统服务排错很有用。Nginx日志主要分为两种：access_log(访问日志)和error_log(错误日志)。通过访问日志我们可以得到用户的IP地址、浏览器的信息，请求的处理时间等信息。错误日志记录了访问出错的信息，可以帮助我们定位错误的原因。本文将详细描述一下如何配置Nginx日志。 访问日志主要记录客户端的请求。客户端向Nginx服务器发起的每一次请求都记录在这里。客户端IP，浏览器信息，referer，请求处理时间，请求URL等都可以在访问日志中
Nginx配置-日志格式配置
冰之杍的博客
05-03 1万+
Nginx配置-日志格式配置一、默认的日志格式二、我使用的日志格式三、参数说明四、测试效果 五一上线了一个小的预约程序，配置通过Nginx进行访问入口，默认的日志是没有请求时间的，因此需要配置一下，将每一次的请求的访问响应时间记录出来，备查与优化使用. 一、默认的日志格式 默认的日志格式如下(默认是注解掉的，系统也自动会使用)： #log_format main '$remote_addr - $remote_user [$time_local] "$request" ' #
Nginx 日志配置详细介绍
一个认真学习的女孩子的博客
01-23 2284
nginx 有一个非常灵活的日志记录模式，每个级别的配置可以有各自独立的访问日志，所需日志模块的支持，日志格式通过log_format命令来定义，日志对于统计和排错是非常有利的，下面总结了 nginx 日志相关的配置 包括access_loglog_formaterror_log。设置访问日志;关闭访问日志;path 指定日志的存放位置。作用域：可以应用access_log指令的作用域分别有http，server，location。
nginx-log-exporter：一个用于Prometheus指标的Nginx日志导出器
02-04
用于Prometheus指标的Nginx日志解析器导出器。 安装 去获取github.com/songjiayang/nginx-log-exporter 或使用发行 用法 nginx-log-exporter -h Usage of: -config.file string Nginx log exporter ...
nginx_log_analysis:nginx日志分析
05-26
nginx_log_analysis是一个Nginx日志实时分析系统，目前已经在折800旗下的全部Nginx代理上运行，每天负责数十亿日志的实时分析。整个传输操作在log执行阶段，对请求的响应时间没有影响。如果对Ngx_Lua开发有兴趣的...
Nginx access.log日志详解及统计分析
热门推荐
weixin_45698637的博客
12-30 2万+
nginx access.log日志详解及统计分析 PV、UV、独立IP、接口访问量统计 配置access.log按天生成日志 完整nginx.conf配置
nginx(四十六)log阶段log模块学习
wzj_110的博客
11-14 674
记录访问日志的模块
nginx访问日志（access_log）
JohnieLi的博客
01-28 1万+
一、nginx访问日志介绍 nginx软件会把每个用户访问网站的日志信息记录到指定的日志文件里，供网站提供者分析用户的浏览行为等，此功能由ngx_http_log_module模块负责，对应的官方地址为：http://nginx.org/en/docs/http/ngx_http_log_module.html. 二、访问日志参数 nginx的访问日志主要有以下2个参数控制 log_format 用来定义记录日志的格式（可以定义多种日志格式，取不同的名字即可） access_log
Nginx log日志参数详解
qq_38206656的博客
09-19 689
文件处理结束后，此文件需删除。如果将次文件传 递给后端的代理服务器，需要禁用request body，即设置proxy_pass_request_body off，fastcgi_pass_request_body off，uwsgi_pass_request_body off，or scgi_pass_request_body off。$host #优先级：HTTP请求行的主机名>"HOST"请求头字段>符合请求的服务器名.请求中的主机头字段，如果请求中的主机头不可用，则为服务器处理请求的服务器名称。
nginx 配置与日志管理
weixin_61428407的博客
09-13 3735
nginx 系统配置与日志管理
一文详细介绍查看和启用nginx日志(access.log和error.log)，nginx错误日志的安全级别，自定义访问日志中的格式
念兮为美
04-25 5574
一文详细介绍查看和启用nginx日志(access.log和error.log)，启用nginx的访问日志和错误日志，nginx错误日志的安全级别，自定义访问日志中的格式
nginx -s reload 没生效
07-29
你可以尝试以下方法来解决nginx -s reload未生效的问题： 1. 检查配置文件：确保你在执行reload命令之前已经更改了正确的配置文件。可以使用nginx -t命令来检查配置文件的语法是否正确。 2. 检查错误日志：执行nginx -t命令后，如果有任何错误，它们将显示在错误日志中。你可以使用tail -f /var/log/nginx/error.log命令来实时监视错误日志并查看是否有任何错误消息。 3. 权限问题：确保你以具有足够权限的用户身份执行reload命令。一般来说，nginx的配置文件和日志文件都在root或nginx用户的权限下，所以你需要以root用户或nginx用户身份执行命令。 4. 强制重载：如果reload命令仍然无效，你可以尝试使用nginx -s stop命令停止nginx服务，然后使用nginx命令重新启动它。这将强制重载配置文件并重新加载。 如果以上方法都没有解决问题，那么可能是其他原因导致了reload命令无效。你可以提供更多细节，以便我能够提供更精确的帮助。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值