【elasticsearch】filebeat+ELK收集数据的过程详述

本文详细介绍了使用filebeat、logstash、elasticsearch和kibana(ELK stack)进行日志收集和分析的配置过程。filebeat作为日志收集器,将日志发送到logstash进行过滤和设置索引,然后数据存储在elasticsearch中,最后通过kibana建立索引并展示。涉及的配置包括filebeat的multiline模式、logstash的正则配置以及kibana的索引创建。
摘要由CSDN通过智能技术生成

前言:
   为了日志收集,用了4台虚拟机,filebeat52一台,es两台95、93,logstash一台75,kibana和es的主节点在一台服务器95上,因为安装了x-pack BUT 不会用的原因、真是坑自己不带眨眼滴走了很多弯路,说多了都是泪,之前写了安装搭建的博客,希望给大家带来帮助吧,如果没有帮助那我就是在做笔记;^_^

filebeat类似一个管道,将指定路径下的文件发送到logstash中过滤给elasticsearch,然后kibana中建立索引展示——大概是这个流程,下面说一下配置过程:

安装情况:
1、filebeat安装在需要收集日志的服务器上面,指定路径
2、kibana的安装位置不受限制,配置好了就可以,我是安装在了95的/usr/local/bin/kibana-6.1.2-linux-x86_64
3、elasticsearch也在95上和kibana同目录:/usr/local/bin/elasticsearch-6.1.2
    为es安装了head插件、分词ik插件、x-pack插件(不熟悉的话坑很多)
4、logstash安装在75的/usr/local/bin/logstash-6.1.2

下面进入主题啦:

filebeat.yml:

filebeat.prospectors:

- type: log

  paths:
    /usr/local/tomcat-achievement-8082/logs/*.log//收集这个路径下所有以log结尾的文件
  tags: ["achie_log"]//标识,在logstash中我利用此对应建立索引
 //对于出错的信息一般都是很多行,需要多行合并
  multiline.pattern: '^\\'     //以/开头的行 进行多行合并
  multiline.negate: false       //后面说
  multiline.match: after  
- type: log
  paths:
    /usr/local/tomcat-basicInfo-8081/logs/*.log//同上
  tags: ["basic_log"]

  multiline.pattern: '^\\'
  multiline.negate: false
  multiline.match: after
- type: log
  paths:
    /usr/local/tomcat-examinationEvaluation-8083/lo
  • 0
    点赞
  • 5
    收藏
    觉得还不错? 一键收藏
  • 12
    评论
评论 12
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值