elk日志上报

最新推荐文章于 2024-04-16 18:30:00 发布

fearless11

最新推荐文章于 2024-04-16 18:30:00 发布

阅读量4.4k

点赞数

分类专栏： elastic 文章标签： elasticsearch

本文链接：https://blog.csdn.net/fearless11/article/details/65626253

版权

本文介绍了ELK（Elasticsearch, Logstash, Kibana）日志管理解决方案，详细讲解了如何通过Filebeat收集，Logstash处理和解析Nginx日志，Elasticsearch存储以及Kibana进行可视化展示。在实践过程中，还涵盖了常见的安装和配置问题及其解决方法。" 2551114,265542,数据库中text转varchar500的解决方案,"['数据库管理', 'SQL编程', '数据类型']

摘要由CSDN通过智能技术生成

（一）ELK介绍：

Elasticsearch + Logstash + Kibana（ELK）是一套开源的日志管理方案
Logstash：负责日志的收集，处理和储存
Elasticsearch：负责日志检索和分析
Kibana：负责日志的可视化

工作流程：

elk

nginx日志格式分析

log_format  main  '$host $remote_addr - $remote_user [$time_local] "$request" '
                  '$status $body_bytes_sent $upstream_response_time "$http_referer" '
                  '"$http_user_agent" "$http_x_forwarded_for" "$uid_got" "$uid_set" "$http_x_tencent_ua" "$upstream_addr"';

解析nginx日志格式

$host           客户端请求的时输入域名或IP
$remote_addr    客户端的IP
$remote_user    客户的名称
[$time_local]   发送请求时的本地时间
$request        请求的url和使用http协议版本
$status         对于此次请求返回的状态
$body_bytes_sent  此次请求得到的字节数（不包含头部）
$upstream_response_time upstream  响应这次请求的时间
$http_referer          请求的页面是从哪个页面跳转过来的
$http_user_agent       客户端使用的浏览器类型
$http_x_forwarded_for  使用代理后，能够记录真实用户的IP地址
$uid_got   收到的客户端的cookie标识
$uid_set   发送给客户端的cookie标识
$http_x_tencent_ua 
$upstream_addr  真实处理这次请求的主机ip

关于nginx中logstash中grok规则

%{IP:ServerHost} %{IP:agencyip} - - \[(?<localTime>.*)\] \"(?<verb>\w{3,4}) (?<site>.*?(?=\s)) (?<httpprotcol>.*?)\" (?<statuscode>\d{3}) (?<bytes>\d&#

最低0.47元/天解锁文章