nginx日志插入数据库中，进行前端分析处理

最新推荐文章于 2024-07-23 07:10:24 发布

奋斗吧_小青年

最新推荐文章于 2024-07-23 07:10:24 发布

阅读量2.6k

点赞数

分类专栏： shell脚本文章标签： nginx nginx日志 shell 分析统计 mysql

本文链接：https://blog.csdn.net/qq_33880971/article/details/79219337

版权

通过Shell脚本每分钟抓取Nginx日志并将其导入到MySQL数据库，为前端分析提供实时数据。利用crontab定时任务确保数据的持续更新。

摘要由CSDN通过智能技术生成

把前一分钟nginx的日志导入数据库中。

#!/bin/bash
#获取某个时间点的nginx的日志，插入数据库

user=admin
password=12345

nginx_dir=/nginx/logs/access.log
date_time=`date '+%d/%b/%Y:%k:%M' -d '-1 min'`
date_now=`date '+%Y-%m-%d'`

grep "$date_time" $nginx_dir | while read line
do
 #这里有几种写法，但是效率上估计差不多
        eval $(echo "$line" |awk -F'|' '{printf("remote_addr=%s;status=%s;body_bytes_sent=%s;bytes_sent=%s;http_referer=%s;request_time=%s;upstream_addr=%s;upstream_respone_time=%s;upstream_status=%s",$1,$4,$5,$6,$7,$9,$10,$11,$12);}')
        locat_time=`echo $line|awk -F'[|:" "]' '{print $3"