Nginx 日志各种技巧

最新推荐文章于 2024-07-10 23:54:36 发布

weixin_33910434

最新推荐文章于 2024-07-10 23:54:36 发布

阅读量79

点赞数

文章标签：运维操作系统

原文链接：https://my.oschina.net/QAAQ/blog/761796

版权

为什么80%的码农都做不了架构师？>>>

Nginx 日志各种技巧

日志格式定义：

log_format
        log_format用来设置日志格式，也就是日志文件中每条日志的格式，具体如下：
        log_format name(格式名称) type(格式样式)
        举例说明如下：
        log_format  main  '$server_name $remote_addr - $remote_user [$time_local] "$request" '
                        '$status $uptream_status $body_bytes_sent "$http_referer" '
                        '"$http_user_agent" "$http_x_forwarded_for" '
                        '$ssl_protocol $ssl_cipher $upstream_addr $request_time $upstream_response_time';
        上面红色部分为Nginx默认指定的格式样式，每个样式的含义如下：
        $server_name：虚拟主机名称。
        $remote_addr：远程客户端的IP地址。
        -：空白，用一个“-”占位符替代，历史原因导致还存在。
         $remote_user：远程客户端用户名称，用于记录浏览者进行身份验证时提供的名字，如登录百度的用户名scq2099yt，如果没有登录就是空白。
        [$time_local]：访问的时间与时区 ，比如18/Jul/2012:17:00:01 +0800，时间信息最后的"+0800"表示服务器所处时区位于UTC之后的8小时。
        $request：请求的URI和HTTP协议，这是整个PV日志记录中最有用的信息，记录服务器收到一个什么样的请求
        $status ：记录请求返回的http状态码，比如成功是200。
        $uptream_status：upstream状态，比如成功是200.
        $body_bytes_sent： 发送给客户端的文件主体内容的大小，比如899，可以将日志每条记录中的这个值累加起来以粗略估计服务器吞吐量。
        $http_referer：记录从哪个页面链接访问过来的。 
        $http_user_agent：客户端浏览器信息
        $http_x_forwarded_for：客户端的真实ip，通常web服务器放在反向代理的后面，这样就不能获取到客户的IP地址了，通过$remote_add拿到的IP地址是反向代理服务器的iP地址。反向代理服务器在转发请求的http头信息中，可以增加x_forwarded_for信息，用以记录原有客户端的IP地址和原来客户端的请求的服务器地址。
        $ssl_protocol：SSL协议版本，比如TLSv1。
        $ssl_cipher：交换数据中的算法，比如RC4-SHA。 
        $upstream_addr：upstream的地址，即真正提供服务的主机地址。 
        $request_time：整个请求的总时间。 
        $upstream_response_time：请求过程中，upstream的响应时间。

nginx.conf配置文件信息

worker_processes  1;
error_log logs/error.log;
events {
    worker_connections 1024;
}
http {
   log_format access '$remote_addr';//定义配置文件的信息，只能在http下面
   server {
        listen 80;
        gzip on;
        
	location ~*\.js$ {
	    proxy_cache my_cache;
	    proxy_cache_key $host$uri;
            proxy_cache_valid 200 304 30m; 
            root /usr/local/work/yidaren.top;
   	}
	access_log /usr/local/work/logs/access1.log access;//配置名字要一致
    }
}

查看是否生效，重启nginx ，访问以下网址，查看指定日志路径下面的信息：

自己定义日志格式很关键,这里必须要提一下的就是，访问请求可以定位到location里面，可以更加精准对请求信息进行统计，减少了更多的过滤条件。

配置文件如下：

 location /welcome{
            access_log /usr/local/work/logs/access2.log access;
            default_type text/html;
            content_by_lua '
                ngx.say("<p>welcome,here!</p>")
            ';
        }

错误日志：

        错误日志主要记录客户端访问Nginx出错时的日志，格式不支持自定义。通过错误日志，你可以得到系统某个服务或server的性能瓶颈等。因此，将日志好好利用，你可以得到很多有价值的信息。错误日志由指令error_log来指定，具体格式如下：
        error_log path(存放路径) level(日志等级)
        path含义同access_log，level表示日志等级，具体如下：
        [ debug | info | notice | warn | error | crit ]
        从左至右，日志详细程度逐级递减，即debug最详细，crit最少。
        举例说明如下：
        error_log  logs/error.log  info;
        需要注意的是：error_log off并不能关闭错误日志，而是会将错误日志记录到一个文件名为off的文件中。
        正确的关闭错误日志记录功能的方法如下：
        error_log /dev/null;
        上面表示将存储日志的路径设置为“垃圾桶”。

access_log指令：

语法: access_log path [format [buffer=size [flush=time]]];

复制代码代码如下:
access_log path format gzip[=level] [buffer=size] [flush=time];
access_log syslog:server=address[,parameter=value] [format];
access_log off;
默认值: access_log logs/access.log combined;
配置段: http, server, location, if in location, limit_except
gzip压缩等级。
buffer设置内存缓存区大小。
flush保存在缓存区中的最长时间。
不记录日志：access_log off;
使用默认combined格式记录日志：access_log logs/access.log 或 access_log logs/access.log combined;

对于访问的日志的写入，每次写入都是需要打开，写入，关闭。所以一般建议打开buffer配置，一般32k，5秒的配置很合理。

access_log /data/logs/nginx-access.log buffer=32k flush=5s;

其他指令：

log_not_found指令
语法: log_not_found on | off;
默认值: log_not_found on;
配置段: http, server, location
是否在error_log中记录不存在的错误。默认是。
log_subrequest指令
语法: log_subrequest on | off;
默认值: log_subrequest off;
配置段: http, server, location
是否在access_log中记录子请求的访问日志。默认不记录。
rewrite_log指令
由ngx_http_rewrite_module模块提供的。用来记录重写日志的。对于调试重写规则建议开启。 Nginx重写规则指南
语法: rewrite_log on | off;
默认值: rewrite_log off;
配置段: http, server, location, if
启用时将在error log中记录notice级别的重写日志。
error_log指令
语法: error_log file | stderr | syslog:server=address[,parameter=value] [debug | info | notice | warn | error | crit | alert | emerg];
默认值: error_log logs/error.log error;
配置段: main, http, server, location

关于日志的一些黑科技：

web查看

	location /logs {
            default_type text/log;
 	    alias /usr/local/work/logs;
            #Nginx日志目录
 
	     autoindex on;
 	     #打开目录浏览功能
 
	     autoindex_exact_size off;
	     #默认为on，显示出文件的确切大小，单位是bytes
	     #显示出文件的大概大小，单位是kB或者MB或者GB
 
	     autoindex_localtime on;
	     #默认为off，显示的文件时间为GMT时间。
	     #改为on后，显示的文件时间为文件的服务器时间
 
              add_header Cache-Control no-store;
	      #让浏览器不保存临时文件
	}

分割日志

技术储备，linux定时处理corn,kill -URS1 `cat conf/nginx.pid`

corn 查看博客https://my.oschina.net/QAAQ/blog/668477

还有更方便的使用搜索关键字，linux logrotate nginx

这些黑科技都是想在网关服务器上做一些文章，但很多时候我们有一个专门的日志分析处理系统。

好文章：http://www.jb51.net/article/92832.htm

http://blog.sina.com.cn/s/blog_5f54f0be0101h6y8.html

http://blog.chinaunix.net/uid-22312037-id-4089710.html

纸上得来终觉浅，觉知此事要躬行。

转载于:https://my.oschina.net/QAAQ/blog/761796