ELK数据分析实战：导入nginx日志到ELK进行分析

最新推荐文章于 2024-05-08 05:08:48 发布
最新推荐文章于 2024-05-08 05:08:48 发布
阅读量766 收藏 3
点赞数 2
文章标签： java elasticsearch 大数据 nginx elk
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_32384985/article/details/128547096
版权

文章目录

前言

这里以下面需求为例，描述如何使用ELK做数据分析
示例需求：从线上down下来的nginx日志文件要求分析，并出图表，找到慢且访问量大的接口
前置要去：需要读者基本了解Elasticsearch和Kibana

环境安装

首先需要安装Elasticsearch以及Logstash和Kibana。Elasticsearch相当于数据库，Kibana用于数据视图，Logstash主要作为转换、输入、过滤的一个工具。
软件的安装这里就不过多描述了。这里主要讲一下如何操作去导入nginx日志文件到ELK中分析。

nginx日志文件与Logstash配置

nginx日志文件格式

首先，nginx日志文件的配置如下，nginx日志文件什么格式都可以，以下只是用作示范

log_format main '$remote_addr - $remote_user [$time_local] "$request" $status $body_bytes_sent "$http_referer" "$http_user_agent" "$http_x_forwarded_for" "$request_time" "$upstream_response_time"';

基本来说，这个nginx日志文件配置只比默认的多 r e q u e s t t i m e 和 request_time和 requestt​ime和upstream_response_time。那么logstash如何配置呢。

logstash配置的基本结构

logstash的配置文件在config目录下xxx.config，基本格式如下,包含了输入、过滤、输出

input {
  
}
filter {
  
}
output {
 
}

logstash配置input

输入就是数据的来源，这里直接填些文件的路径，输入配置如下,这里的path后面跟的就是文件地址，start_position表示从头读取文件，sincedb_path是logstash用于记录数据的一个偏移量，传输到哪里了，比如传输一个文件，传送完了，就会在sincedb的文件写入位置，下一次再运行就不会重复传数据。这里的sincedb_path我们直接自己新建了一个sincedb文件，然后配置指向责怪文件。

input {
    file {
        # 读取文件的路径, 基于 glob 匹配语法
        path => "/down/nginx-2022-11-14.log"
        # beginning/end 是否从头读取文件, 默认从尾部读取
        start_position => "beginning"
		sincedb_path => "/down/logstash-8.1.0-windows-x86_64/logstash-8.1.0/data/sincedb"
    }
}

logstash配置filter

filter配置用于配置过滤，字段转化功能，是核心配置。这里我们使用自定义转换，使用grok表达式去把nginx的日志格式转化为Elasticsearch的数据。

grok表达式

grok表达式相当于一个正则，用于匹配原始数据的一行的格式，然后按表达式转换成key，value的一个数据。举个例子

//nginx 源日志
"GET /xxx/xxx?s=a HTTP/1.1" 200

//下面是对应的grok表达式
\"%{WORD:request_method} %{DATA:uri}\?%{DATA:param} HTTP/%{NUMBER:http_version}\" %{NUMBER:response_code}

接下来我们来分析上面这个例子，首先nginx源日志"GET /xxx/xxx?s=a HTTP/1.1"这里开头和结尾有个冒号，这里就需要使用\"加个反斜杠来匹配，然后是GET,GET表示请求的method，后面有个空格，所以这个字段使用%{WORD:request_method}来匹配，到时候输入到es里面的就是request_method这个字段对应的数据。GET后面带个空格，所以grop后面也要加个空格，然后后面的字符是/xxx/xxx?s=a，表示一个路径加参数，这里使用%{DATA:uri}\?%{DATA:param}来匹配，中间的？号是需要加\转义的，把url切分成路径和参数。当然有些url是不带参数的，这里需要用%{DATA:uri}来匹配，同理，后面的HTTP/1.1" 200，就用 HTTP/%{NUMBER:http_version}\" %{NUMBER:response_code}来匹配了。
而对于上文说到的nginx格式和完整的grok表达式如下:

//nginx日志格式
log_format main '$remote_addr - $remote_user [$time_local] "$request" $status $body_bytes_sent "$http_referer" "$http_user_agent" "$http_x_forwarded_for" "$request_time" "$upstream_response_time"';
//grok完整表达式
%{IPORHOST:remote_addr} - %{DATA:remote_user} \[%{HTTPDATE:time_local}\] \"%{WORD:request_method} %{DATA:uri}\?%{DATA:param} HTTP/%{NUMBER:http_version}\" %{NUMBER:response_code} %{NUMBER:body_sent_bytes} \"%{DATA:http_referrer}\" \"%{DATA:http_user_agent}\" \"%{NUMBER:request_time:float}\" \"%{NUMBER:response_time:float}\"

一个一个字符去扣，基本就能明白如何使用grok表达式了。

grok表达式debug

grok表达式本身比较复杂，为了效率，debug功能就非常的必要了，可以节省很多排查配置的时间，grok的debug功能在kiabana有。首先在左边栏里点击这个dev tools,
image.png

然后在上边栏可以找到grok debugger,这里Sample Data为原始数据，Grok Pattern为待debug的grok表达式，填写好后，点击simulate，会在Structured Data处生成解析后的结果
image.png

我们以一条nginx数据为例，nginx数据如下

172.11.11.11 - - [08/Nov/2022:00:00:02 +0800] "GET /xxsdada/asdasd?a=123&b=123 HTTP/1.1" 200 1194 "https://xxxx.xxx.com/" "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/107.0.0.0 Safari/537.36" "2804:30c:1854:d500:5926:3f37:456e:2176" "0.5" "0.5"

提交后如图所示，grok表达式把nginx的日志行数据转换成了结构化数据。这就代表grok表达式没有问题，如果出现错误的情况，直接调整grok表达式后重试
image.png

特殊情况

对于nginx日志，并不是每一行日志都有的，那么如何处理？
比如上面的日志 r e q u e s t t i m e 和 request_time和 requestt​ime和upstream_response_time，可能在日志里没有，这时候nginx输出的日志是 “-” “-”，nginx这里使用了横杠-来表示空值，对于我们的配置%{NUMBER:response_time:float}，'-'是无法转换为NUMBER类型的，这里就会转换出错。这里就需要用到多个grok表达式了，logstash可以使用多个grok表达式来转换数据，默认是使用第一个，如果第一个过滤失败了，就会默认往后推。那我们只需要去除%{NUMBER:response_time:float}这段后生成第二个grok表达式，就能兼容上述的场景了。

filter配置grok表达式

对于单个表达式，配置方法如下

filter {
    grok {
        match => { 
		"message" => "xxxxxxxxxx//grok表达式"}
    }
	# 通过date插件，把nginx日志中的时间戳用作logstash的event时间戳
   date {
    match => [ "time_local", "dd/MMM/yyyy:HH:mm:ss Z" ]
  }
}

对于多个表达式，配置方法如下

filter {
    grok {
        match => { 
		"message" => ["xxxxxxxxxx//grok表达式1","xxxxxxxxxx//grok表达式2","xxxxxxxxxx//grok表达式3"}
    }
	# 通过date插件，把nginx日志中的时间戳用作logstash的event时间戳
   date {
    match => [ "time_local", "dd/MMM/yyyy:HH:mm:ss Z" ]
  }
}

上述nginx日志对应的filter完整配置

配置如下，仅作示范，也有一些情况可能没有兼容

filter {
    grok {
        match => { 
		"message" => 
		[
		"%{IPORHOST:remote_addr} - %{DATA:remote_user} \[%{HTTPDATE:time_local}\] \"%{WORD:request_method} %{DATA:uri}\?%{DATA:param} HTTP/%{NUMBER:http_version}\" %{NUMBER:response_code} %{NUMBER:body_sent_bytes} \"%{DATA:http_referrer}\" \"%{DATA:http_user_agent}\" \"%{NUMBER:request_time:float}\" \"%{NUMBER:response_time:float}\"",
		"%{IPORHOST:remote_addr} - %{DATA:remote_user} \[%{HTTPDATE:time_local}\] \"%{WORD:request_method} %{DATA:uri}\?%{DATA:param} HTTP/%{NUMBER:http_version}\" %{NUMBER:response_code} %{NUMBER:body_sent_bytes} \"%{DATA:http_referrer}\" \"%{DATA:http_user_agent}\" \"%{NUMBER:request_time:float}\"",
		"%{IPORHOST:remote_addr} - %{DATA:remote_user} \[%{HTTPDATE:time_local}\] \"%{WORD:request_method} %{DATA:uri}\?%{DATA:param} HTTP/%{NUMBER:http_version}\" %{NUMBER:response_code} %{NUMBER:body_sent_bytes} \"%{DATA:http_referrer}\" \"%{DATA:http_user_agent}\" ",
		"%{IPORHOST:remote_addr} - %{DATA:remote_user} \[%{HTTPDATE:time_local}\] \"%{WORD:request_method} %{DATA:uri} HTTP/%{NUMBER:http_version}\" %{NUMBER:response_code} %{NUMBER:body_sent_bytes} \"%{DATA:http_referrer}\" \"%{DATA:http_user_agent}\" \"%{NUMBER:request_time:float}\" \"%{NUMBER:response_time:float}\"",
		"%{IPORHOST:remote_addr} - %{DATA:remote_user} \[%{HTTPDATE:time_local}\] \"%{WORD:request_method} %{DATA:uri} HTTP/%{NUMBER:http_version}\" %{NUMBER:response_code} %{NUMBER:body_sent_bytes} \"%{DATA:http_referrer}\" \"%{DATA:http_user_agent}\" \"%{NUMBER:request_time:float}\"",
		"%{IPORHOST:remote_addr} - %{DATA:remote_user} \[%{HTTPDATE:time_local}\] \"%{WORD:request_method} %{DATA:uri} HTTP/%{NUMBER:http_version}\" %{NUMBER:response_code} %{NUMBER:body_sent_bytes} \"%{DATA:http_referrer}\" \"%{DATA:http_user_agent}\" ",
		"%{HTTPD_COMBINEDLOG}"
		]}
    }
	# 通过date插件，把nginx日志中的时间戳用作logstash的event时间戳
  date {
    match => [ "time_local", "dd/MMM/yyyy:HH:mm:ss Z" ]
  }
}

logstash 的output配置

因为这里的数据要存在es中，所以这里直接把output配置es的端口

output {
    # 输出到 ES 中
    elasticsearch {
        hosts => ["127.0.0.1:9200","127.0.0.1:9300","127.0.0.1:9400"]
        index => "nginx-log-test"
    }
}

这里hosts后面就是es或者es集群的ip端口，index为要存入的索引（即数据库表名），这里无需手动创建索引，logstash会自动帮我们创建。

完整配置

至此，logstash的配置就完成了，合在一起如下，存入logstash.conf文件中

input {
    file {
        # 读取文件的路径, 基于 glob 匹配语法
        path => "/down/xxxxxx.log"
        # beginning/end 是否从头读取文件, 默认从尾部读取
        start_position => "beginning"
		sincedb_path => "/down/logstash-8.1.0-windows-x86_64/logstash-8.1.0/data/sincedb"
    }
}

filter {
    grok {
        match => { 
		"message" => 
		[
		"%{IPORHOST:remote_addr} - %{DATA:remote_user} \[%{HTTPDATE:time_local}\] \"%{WORD:request_method} %{DATA:uri}\?%{DATA:param} HTTP/%{NUMBER:http_version}\" %{NUMBER:response_code} %{NUMBER:body_sent_bytes} \"%{DATA:http_referrer}\" \"%{DATA:http_user_agent}\" \"%{NUMBER:request_time:float}\" \"%{NUMBER:response_time:float}\"",
		"%{IPORHOST:remote_addr} - %{DATA:remote_user} \[%{HTTPDATE:time_local}\] \"%{WORD:request_method} %{DATA:uri}\?%{DATA:param} HTTP/%{NUMBER:http_version}\" %{NUMBER:response_code} %{NUMBER:body_sent_bytes} \"%{DATA:http_referrer}\" \"%{DATA:http_user_agent}\" \"%{NUMBER:request_time:float}\"",
		"%{IPORHOST:remote_addr} - %{DATA:remote_user} \[%{HTTPDATE:time_local}\] \"%{WORD:request_method} %{DATA:uri}\?%{DATA:param} HTTP/%{NUMBER:http_version}\" %{NUMBER:response_code} %{NUMBER:body_sent_bytes} \"%{DATA:http_referrer}\" \"%{DATA:http_user_agent}\" ",
		"%{IPORHOST:remote_addr} - %{DATA:remote_user} \[%{HTTPDATE:time_local}\] \"%{WORD:request_method} %{DATA:uri} HTTP/%{NUMBER:http_version}\" %{NUMBER:response_code} %{NUMBER:body_sent_bytes} \"%{DATA:http_referrer}\" \"%{DATA:http_user_agent}\" \"%{NUMBER:request_time:float}\" \"%{NUMBER:response_time:float}\"",
		"%{IPORHOST:remote_addr} - %{DATA:remote_user} \[%{HTTPDATE:time_local}\] \"%{WORD:request_method} %{DATA:uri} HTTP/%{NUMBER:http_version}\" %{NUMBER:response_code} %{NUMBER:body_sent_bytes} \"%{DATA:http_referrer}\" \"%{DATA:http_user_agent}\" \"%{NUMBER:request_time:float}\"",
		"%{IPORHOST:remote_addr} - %{DATA:remote_user} \[%{HTTPDATE:time_local}\] \"%{WORD:request_method} %{DATA:uri} HTTP/%{NUMBER:http_version}\" %{NUMBER:response_code} %{NUMBER:body_sent_bytes} \"%{DATA:http_referrer}\" \"%{DATA:http_user_agent}\" ",
		"%{HTTPD_COMBINEDLOG}"
		]}
    }
	# 通过date插件，把nginx日志中的时间戳用作logstash的event时间戳
  date {
    match => [ "time_local", "dd/MMM/yyyy:HH:mm:ss Z" ]
  }
}

output {
    # 输出到 ES 中, 自动按天创建索引
    elasticsearch {
        hosts => ["127.0.0.1:9200","127.0.0.1:9300","127.0.0.1:9400"]
        index => "nginx-local"
    }
}

logstash启动并收集文件到es

这里以我的安装目录为例首先先运行检查程序
\down\logstash-8.1.0-windows-x86_64\logstash-8.1.0\bin\logstash --config.test_and_exit -f \down\logstash-8.1.0-windows-x86_64\logstash-8.1.0\config\logstash.conf
如果配置ok，那么输出会提示配置ok
然后执行下面命令启动logstash，对于导入静态文件这种一次性的数据导入，启动完成导入数据后可以关闭logstash，节约资源。
\down\logstash-8.1.0-windows-x86_64\logstash-8.1.0\bin\logstash -f \down\logstash-8.1.0-windows-x86_64\logstash-8.1.0\config\logstash.conf

使用Kibana分析数据

基础配置

上传完数据后，可以在Management-Data-Index Management上看见刚上传的索引信息。然后在在Management-Kibana-Data Views上Create data view，名字使用刚才配置的索引名nginx-local。配置完成后，在侧边栏的Analytics-Discover就可以看见刚才导入的数据行，可以对数据进行搜索等操作了。
image.png

配置图表分析

侧边栏点击Analytics-Dashboard，然后点击Create dashboard,然后点击Create visualization,
image.png

然后左边数据视图就选刚才创建的nginx-local，时间可以选全部，然后图表类型按需要选择
image.png

水平轴Horizontal axis配置，这用uri作为水平轴Rank by先用默认的。然后点击X自动保存。
image.png

然后点击垂直轴Vertical axis，这里选用responseTime作纵轴，可以看到，这个聚合数据可以选择中位数，最大，最小，计数，和，最新值等聚合方式，我这里选择中位数，比较能体现。然后点X自动保存。
image.png
因为这里数据分析我们还想要知道一个路径具体的请求数是多少，所以我们再在纵轴加一个维度，这里直接统计数量，用count+record，然后轴选则放在右边
image.png
image.png

完成配置如下
image.png

可以看到url太长了没法完全显示，这时候我们可以调整图的类型
image.png

使用横向图并把请求数量的轴调到top，这样图就很直观了，然后找到请求比较多，响应又比较慢的接口就比较容易了。
最后右上角点击image.png

然后右上角点击image.png

然后输入名字，保存，下次分析就不用建图了，直接就能看见
image.png

一个没有感情的程序猿
关注
  • 2
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
使用ELK搭建日志集中分析平台实践
01-27
Elasticsearch+Logstash+Kibana（ELK）是一套开源的日志管理方案，分析网站的访问情况时我们一般会借助Google/百度/CNZZ等方式嵌入JS做数据统计，但是当网站访问异常或者被攻击时我们需要在后台分析如Nginx的具体日志，而Nginx日志分割/GoAccess/Awstats都是相对简单的单节点解决方案，针对分布式集群或者数据量级较大时会显得心有余而力不足，而ELK的出现可以使我们从容面对新的挑战。Logstash：负责日志的收集，处理和储存Elasticsearch：负责日志检索和分析Kibana：负责日志的可视化ELK(Elasticsearch+
ELK系统分析nginx日志
weixin_34087503的博客
05-19 156
ELK系统在安装完成后需要处理相关的日志文件，本文主要对nginx日志文件进行处理并进行可视化操作，来满足日常的业务需求,长话短说，接下来介绍我的环境具体的网络拓扑图如下：具体配置如下：serverOSVersionIP备注logstashCentOS release 6.4 (Final)logstash 2.2.2192.168.180.2logstash客户端用...
2024年小白实操ELK环境部署+监控nginx日志_两台机器搭建elk+nginx(1)，阿里P8架构师
最新发布
2401_84790808的博客
05-08 868
打开Kibana的配置文件/usr/local/kibana-6.2.3-linux-x86_64/config/kibana.yml，找到下面这行并修改：+1.后台启动logstash：nohup bin/logstash -f default.conf &进入Kibana的目录：cd /usr/local/kibana-6.2.3-linux-x86_64。5.查看端口是否启动：netstat -napt|grep 5601。查看启动日志：tail -f nohup.out。测试是否可以正常访问。
原创｜利用ELK分析Nginx日志生产实战(高清多图)，2024百度软件测试岗面试真题收录解析
2401_84266125的博客
04-19 1067
先自我介绍一下，小编浙江大学毕业，去过华为、字节跳动等大厂，目前阿里P7深知大多数程序员，想要提升技能，往往是自己摸索成长，但自己不成体系的自学效果低效又漫长，而且极易碰到天花板技术停滞不前！因此收集整理了一份《2024年最新软件测试全套学习资料》，初衷也很简单，就是希望能够帮助到想自学提升又不知道该从何学起的朋友。 既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，涵盖了95%以上软件测试知识点，真正体系化！由于文件比较多，这里只是将部分目录截图出来，全套包含大厂面
日志分析和ELK监控
小郑
04-04 1250
Kiban是一个开源的可视化平台,可以为ElasticSearch集群的管理提供友好的Web界面,帮助汇总,分析和搜索重要的日志数据。文档路径: https://www.elastic.colguide/en/kibana/current/setup.html可以根据官方文档安装和配置kibana下载rpm软件包可以把wget去掉，直接在网页下载。
ELK收集Nginx日志并进行展示
Fantastic
02-17 3206
文章目录前言Elasticsearch 前言 前段时间服务器遭受到攻击，发现的时间比较晚，于是我转行做起运维。解决方案是代码里面加了日志跟踪，使用ELK（Elasticsearch+Logstash+Kibana）收集Nginx的日志作为监控。ELK在前东家的时候使用过，觉得还是挺好用的，现在自己尝试一下搭建起来。Nginx在docker上已经部署起来了，接下来是采用docker把ELK搭建起来。Elasticsearch在大数据分析的时候听的比较多，Logstash是负责收集Nignx日志然后推送到Ela
Docker搭建ELK监控Nginx日志
qq_33271275的博客
01-29 465
主要记录使用docker搭建ELK-stack,并用于监控Nginx日志的操作过程,和一些解析
万字长文利用ELK+kafka分析Nginx日志生产实战(高清多图)
Richardlygo的博客
11-25 444
一、服务介绍 1.1、ELK ELK是三个开源软件的缩写，分别表示：Elasticsearch , Logstash, Kibana , 它们都是开源软件。新增了一个FileBeat，它是一个轻量级的日志收集处理工具(Agent)，Filebeat占用资源少，适合于在各个服务器上搜集日志后传输给Logstash，官方也推荐此工具。 Elasticsearch是个开源分布式搜索引擎，提供搜集、...
docker搭建ELK以及监控nginx日志
krb___的博客
02-22 402
2、拷贝logstash相关文件到本地并删除logstash容器。2、拷贝ES相关文件到本地并删除elasticsearch容器。2、拷贝kibana相关文件到本地并删除kibana容器。4、启动elasticsearch并进行文件关联。5、启动logstash容器并进行文件关联。3、修改logstash.yml配置文件。4、修改logstash.conf文件。4、启动kibana容器并进行文件关联。1、安装运行logstash容器。1、运行Kibana容器。5、验证kibana。1、安装运行ES容器。
详解用ELK来分析Nginx服务器日志的方法
09-30
主要介绍了用ELK来分析Nginx服务器日志的方法,ELK是三个开源软件的缩写,分别表示Elasticsearch,Logstash,Kibana,需要的朋友可以参考下
ELK:搭建ELK日志分析平台
04-13
Nginx日志分析 Syslog系统日志分析 Tomcat日志分析 系统日志分析 Topbeat Dashboard logstash命令 logstash命令帮助 $ /opt/logstash/bin/logstash -h Usage: /bin/logstash agent [OPTIONS] Options: -f, --...
ELK详细分析nginx日志
【CSDN官方推荐】
01-26 683
1. 实验规划 主机地址 安装服务 192.168.153.134 elasticsearch 192.168.153.135 logstash 192.168.153.136 kibana 2. ELK安装 参考博客链接>> https://blog.csdn.net/m0_46674735/article/details/112004006 3. logstash服务器的配置 3.1 上传模板文件nginx_access到/usr/share/logstash/v
使用ELK收集解析nginx日志和kibana可视化仪表盘
浮尘笔记
08-31 1740
收集nginx的文件日志并写入到队列（kafka/redis），然后在另一台机器上消费队列中的日志数据并流转到。kibana dashboard 是一个统计数据展示面板，可以通过不同的维度进行统计和展示。我这里用kibana7.17.12版本演示，不同版本的kibana界面可能不一样。然后打开ES的页面，账号：elastic，密码就是你刚才设置的密码。然后重新启动kibana，再次访问，需要输入账号和密码。输入y开始设置，六种密码设置完成后，需要再次重启ES。，需要设置以下六种账户的密码。
ELK-nignx日志分析与展示
ya_shy的博客
03-29 2354
关于elk搭建请看：《elk搭建与简单的线上应用》 前序 在上一次《elk搭建和简单线上应用》中写道，Filebeat可以替代Logstash来实现数据收集与简单的清洗工作。 但是关于nignx日志各个字段都要清洗出来，当前Filebeat还做不到，需要借用Logstash能力 下面我将线上分析nignx日志的例子，来展示Logstash强大数据清洗的能力 具体步骤可以参考：https://www.cnblogs.com/hukey/p/11519612.html#1.%20%E5%89%8D%E8%A8%
ELK监控nginx日志
linux运维
05-09 475
nginx日志格式修改 1、Nginx支持自定义输出日志格式，在设置Nginx日志格式前，需要了解一下nginx内置的日志变量。 log_format main escape=json '{"accessip_list":"$proxy_add_x_forwarded_for",' '"remote_addr":"$remote_addr",' '"http_host
基于ELK搭建网站实时日志监控平台
weixin_40055163的博客
10-25 2280
基于ELK搭建网站实时日志监控平台 1 为什么要用到ELK 早在传统的单体应用时代，查看日志大都通过SSH客户端登服务器去看，使用较多的命令就是 less 或者 tail。如果服务部署了好几台，就要分别登录到这几台机器上看，等到了分布式和微服务架构流行时代，一个从APP或H5发起的请求除了需要登陆服务器去排查日志，往往还会经过MQ和RPC调用远程到了别的主机继续处理，开发人员定位问题可能还需要根据TraceID或者业务唯一主键去跟踪服务的链路日志，基于传统SSH方式登陆主机查看日志的方式就像图中排查线路的工
ELK对Nginx日志进行分析
chenhonggu5690的博客
12-09 190
一、整体架构 二、整体概述： 从上图可以看出，日志首先被收集到redis当中，进行缓冲，再通过logstash收集到elasticsearch集群进行索引创建，根据需求进行维度上的组合，最后kibana实现elasticsearch的restful风格接...
ELK企业应用场景之Nginx日志采集-filebeat+es+kibana
qq_43253382的博客
12-10 1967
通过filebeat采集轻量级日志，并写入es,然后通过kibana进行可视化界面的展示。
nginx日志对接elk
qq_42150559的博客
07-09 1074
背景 elk版本:7.1.1 nginx 版本随意 简介 在kibana中自带nginx日志插件，非常的好用，点开 根据官方文档中的步骤一步一步来。 我们需要在nginx服务器上，装一个filebeat，会自动把本地的日志推送到远程的elk服务器上 日志的地址是可以配置的。 换句话说，我们也可以换一个服务器。这个服务器专门拉nginx的日志，只要有日志文件就行，不需要nginx部署在上面 fil...
老男孩elk日志收集上课笔记
12-22
- 课程讲解了如何根据日志类型（如Nginx、Tomcat、Java、Docker等）进行分类，以及为什么要对不同类型的日志进行单独收集和管理。 3. **第三章：安装与部署** - 详细说明了如何从官方地址下载和安装ELK组件： - ...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值