利用grok对Nginx日志进行分解

最新推荐文章于 2023-12-10 16:14:43 发布
最新推荐文章于 2023-12-10 16:14:43 发布
阅读量1.3k 收藏
点赞数
分类专栏： Nginx 日志相关 文章标签： grok nginx log
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Rebel_Yangke/article/details/60961366
版权
本文介绍了如何利用grok对Nginx日志进行分解，根据预设的日志格式，结合GeoIP功能识别客户端地理位置。通过grok调试工具确保规则的准确性。
摘要由CSDN通过智能技术生成

提前对Nginx日志的格式进行定义，根据定义好的日志进行分解
Nginx日志格式为：

192.168.1.106 192.168.1.106 101.246.116.62 "09/Mar/2017:15:18:59 +0800" "GET" "/xxxx/data/xxxx/hls/20160505/8cd7a8680d795007/FHD/seg-0031.ts" "-" 200 901836 "-" "AppleCoreMedia/1.0.0.9A405 (iPad; U; CPU OS 5_0_1 like Mac OS X; zh_cn)" "-" 0.334
192.168.1.106 192.168.1.106 101.246.116.62 "09/Mar/2017:15:19:00 +0800" "GET" "/xxxx/data/xxxx/hls/20160505/8cd7a8680d795007/FHD/seg-0032.ts" "-" 200 1257532 "-"
最低0.47元/天 解锁文章
折木-Oreki
关注
专栏目录
Nginx 日志分析
番茄炒蛋君的博客
11-22 3795
目录： 日志分析 日志的常用需求分析 Nginx 日志切割 日志分析 Nginx 默认日志路径/usr/local/nginx/logs/，其中包含访问日志 access.log 和错误 记 录 日 志 error.log。 查看 nginx 访问日志 ： cat /usr/local/nginx/logs/access.log | more Nginx 访问日志打印的格式可以自定义...
logstash grok 解析Nginx
weixin_30352645的博客
08-29 293
log_format main '$remote_addr [$time_local] "$request" ' '$request_body $status $body_bytes_sent "$http_referer" "$http_user_agent" ' '$request_time $...
logstash grok切分nginx日志
weixin_30663391的博客
07-11 583
日志类型 map $http_x_forwarded_for $clientRealIp { "" $remote_addr; ~^(?P<firstAddr>[0-9\.]+),?.*$ $firstAddr;} log_format proxy_main '$clientRealIp "$http_x_forwarded_for"...
Logstash使用grok插件解析Nginx日志
weixin_33796205的博客
09-07 965
grok表达式的打印复制格式的完整语法是下面这样的： %{PATTERN_NAME:capture_name:data_type}data_type 目前只支持两个值：int 和 float。 在线gork正则的地址：http://grokdebug.herokuapp.com/ Logstash基础正则地址：https://github.com/elastic/logstash/blob/v...
logstash之grok过滤
yanggd1987的专栏
01-11 2万+
简介  前面我们的nginx日志编码使用的json，logstash直接输入预定义好的 JSON 数据，这样就可以省略掉 filter/grok 配置,但是在我们的生产环境中，日志格式往往使用的是普通的格式，因此就不得不使用logstash的filter/grok进行过滤，下面我们就来讲下如何配置。配置1.nginx日志格式 为了帮助我们有效的理解grok的正则表达式，因此在这我们将日志格式定义的
grok debugger 正则解析nginx日志
ZLC20050116的博客
07-22 384
地址:https://grokdebug.herokuapp.com/ 1.捞一段nginx的日志 这个是我的nginx日志格式： '$remote_addr [$time_local] "$request" ' '$request_body $status $body_bytes_sent "$http_referer" "$http_user_agent" ' '$...
ELK 过滤插件grok对nginx日志格式化
小楼一夜听春雨，深巷明朝卖杏花
01-06 897
默认nginx的访问日志是没有格式的，日志格式如下 log_format main '$remote_addr - $remote_user [$time_local] "$request" ' '$status $body_bytes_sent "$http_referer" ' '"$http_user_agent" "$http_x_forwarded_for"'; 访问日志格式如下：要想结构化处理，..
创业公司做数据分析（四）ELK日志系统
茅庐
01-07 1万+
本文将重点探讨数据采集层中的ELK日志系统，结合自身实践来介绍如何使用ELK系统、使用中的问题以及如何解决。ELK是一套开源的集中式日志数据管理的解决方案，由Elasticsearch、Logstash和Kibana三个系统组成。
linux日志分析步骤,Linux系统日志分析的基本教程
weixin_36328790的博客
05-01 1465
首先，我们将描述有关 Linux 日志是什么，到哪儿去找它们，以及它们是如何创建的基础知识Linux 系统日志许多有价值的日志文件都是由 Linux 自动地为你创建的。你可以在 /var/log 目录中找到它们。下面是在一个典型的 Ubuntu 系统中这个目录的样子：一些最为重要的 Linux 系统日志包括：/var/log/syslog 或 /var/log/messages 存储所有的全局系统...
利用 Elasticsearch 进行实时数据分析的方法探究
[利用 Elasticsearch 进行实时数据分析的方法探究](https://img-blog.csdnimg.cn/img_convert/14cc8be9c2f6f95c54dea64eb49be9f0.png) # 1. Elasticsearch概述** Elasticsearch是一个开源、分布式、基于Lucene...
ELK 日志服务
m0_37749659的博客
08-02 566
logstash 格式转换处理，发送到es。
Logstash使用grok过滤nginx日志（二）
bahusuo2688的博客
07-04 438
　　在生产环境中，nginx日志格式往往使用的是自定义的格式，我们需要把logstash中的message结构化后再存储，方便kibana的搜索和统计，因此需要对message进行解析。 　　本文采用grok过滤器，使用match正则表达式解析，根据自己的log_format定制。 1、nginx日志格式 　　log_format配置如下： log_format main ...
logstash-将nginx日志转为json格式存入kafka
qq522044637的博客
03-04 781
不修改nginx日志格式的情况下，使用logstash filter-grok，匹配nginx日志格式后转为json格式存入kafka。
Logstash收集nginx日志并grok进行文本过滤
草莓甜甜圈的博客
07-08 5025
简介 grok作为一个logstash的过滤插件，支持根据正则表达式解析文本日志行，拆成字段message结构化后再存储，方便kibana的搜索和统计。 nginx日志格式 ..... http { include /etc/nginx/mime.types; default_type application/octet-stream; log_f...
logstash之grok插件自定义规则学习
最新发布
最美dee时光的博客
12-10 591
1、前言 近期通过ELK(Elasticsearch, Logstash, Kibana)对Nginx产生的日志进行采集，但是在对nginx的日志格式进行预处理的时候使用到了logstash的grok的插件，特意在此为大家分享下个人的学习总结。 2、Grok提供的常用Patterns说明及举例 要学习Grok的默认表达式，我们就要找到它的具体配置路径，路径如下： patterns路径 [logstash安装路径]/vendor/bundle/jruby/x.x.x/gems/logstash-pattern
Nginx access.log日志详解及统计分析
热门推荐
weixin_45698637的博客
12-30 2万+
nginx access.log日志详解及统计分析 PV、UV、独立IP、接口访问量统计 配置access.log按天生成日志 完整nginx.conf配置
nginx自动日志切割方法
qq_36445861的博客
08-30 919
引用链接：https://www.cnblogs.com/comprehensive/p/12856097.html 背景说明 nginx运行的太久，日志就会越来越大，有必要对他进行日志切割，而nginx的日志文件有两个： access.log 记录哪些用户,哪些页面以及用户浏览器,IP等访问信息； error.log 记录服务器错误的日志 linux kill -usr1 和kii -HUP的作用 kill -USR1亦通常被用来告知应用程序重载配置文件；例如，向Apache HTTP服务器发送一
ELK日志系统开发，Logstash收集nginx日志（二）
zhibin的程序日记
08-29 1万+
一、Nginx日志例子 Nginx日志例子 nginx日志默认配置： log_format main '$remote_addr - $remote_user [$time_local] "$request" ' '$status $body_bytes_sent "$http_referer" ' '"$http...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值