![](https://img-blog.csdnimg.cn/20201014180756757.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
ELK
日志收集操作
坚持,坚持,再坚持
这个作者很懒,什么都没留下…
展开
-
(九)elasticsearch集群的安全认证模式
2019年5月21日,Elastic官方发布消息: Elastic Stack 新版本6.8.0 和7.1.0的核心安全功能现免费提供。这意味着用户现在能够对网络流量进行加密、创建和管理用户、定义能够保护索引和集群级别访问权限的角色,并且使用 Spaces 为 Kibana提供全面保护。 免费提供的核心安全功能如下:1)TLS 功能。 可对通信进行加密;2)文件和原生 Realm。 可用于创建和管理用户;3)基于角色的访问控制。 可用于控制用户对集群 API 和索引的访问权限;通过针对 Kiban原创 2020-11-22 14:24:07 · 905 阅读 · 1 评论 -
(八)Filebeat收集日志方法
Filebeat收集日志input:日志输入,支持log(常用)、stdin、redisoutput:日志输出,支持elasticsearch、redis、logstash、kafka1. log(从日志文件中收取日志)示例:filebeat.inputs:- type: log paths: - /var/log/system.log - /var/log/wifi.log- type: log paths: - "/var/log/apache2/*".原创 2020-11-22 13:57:38 · 2265 阅读 · 0 评论 -
(七)Filebeat安装配置
Filebeat是Beat成员之一,基于Go语言,无任何依赖,并且比logstash更加轻量,非常适合安装在生产机器上,不会带来过高的资源占用,轻量意味着简单,所以Filebeat并没有集成和logstash一样的正则处理功能,而是将收集的日志原样上报。Filebeat架构图Filebeat主要构成由prospector 和 harvesters这两类组件一起协同完成Filebeat的工作,从指定文件中把数据读取出来,然后发送事件数据到配置的output中Harvesters:负责进行单个文件的内原创 2020-11-22 13:54:02 · 381 阅读 · 0 评论 -
(六)Logstash日志收集注意事项
有三个注意事项:保证收集的日志有查看权限[root@node04 conf.d]# ll /var/log/nginx/access.log-rw-r----- 1 root root 73148 Nov 15 13:17 /var/log/nginx/access.log[root@node04 conf.d]# chmod 644 /var/log/nginx/access.log[root@node04 conf.d]# ll /var/log/nginx/access.log-rw-原创 2020-11-22 13:50:15 · 273 阅读 · 0 评论 -
(四)Logstash收集、解析日志方法
官网地址:https://www.elastic.co/guide/en/logstash-versioned-plugins/current/index.htmlLogstash的基础架构类型为pipeline流水线,如下图所示:INPUT:数据采集(常用插件:stdin、file、kafka、beat.http)FILTER:数据解析/转换(常用插件:Grok正则捕获、Date时间处理、Json编解码、Mutate数据修改等)OUTPUT:数据输出(常用插件:Elasticsearch)C.原创 2020-11-22 13:13:33 · 1998 阅读 · 0 评论 -
(三)如何通过命令管理ELK索引
查看集群状态[root@node06 logstash]# curl -i -XGET http://ip:9200/_cat/nodes?prettyHTTP/1.1 200 OKcontent-type: text/plain; charset=UTF-8content-length: 108192.168.159.134 22 81 0 0.00 0.03 0.05 mdi * es-node1192.168.159.130 16 96 1 0.04 0.20 0.14 mdi - .原创 2020-11-22 12:41:37 · 162 阅读 · 0 评论 -
(二)集群部署ELK
集群架构部署图1. 服务器配置信息服务服务器ip启动端口ES01、logstash192.168.159.1309200、9300、9600logstash01192.168.159.1319600kibana+logstash192.168.159.1329600、5601redis+logstash02192.168.159.1339600、6379ES02(master)192.168.159.1349200、93002.原创 2020-11-22 12:34:21 · 193 阅读 · 0 评论 -
(一)单集群部署ELK
官网下载地址:https://www.elastic.co/downloads/logstash官网文档地址:https://www.elastic.co/guide/en/logstash/current/index.html中文文档地址:http://udn.yyuap.com/doc/logstash-best-practice-cn/index.html1. ELK的组成部分ELK的组成部分由:elasticsearch、logstash、kibana、filebeat组成elasti.原创 2020-11-22 12:16:48 · 330 阅读 · 0 评论