图文详解：ElasticSearch实战，让你Filebeat快速入门和使用

• include_lines：包含匹配列表中的正则表达式。
• exclude_files: 排除的文件,匹配正则表达式的列表。
• fields: 可选的附加字段。这些字段可以自由选择,添加附加信息到抓取的日志文件进行过滤。
• multiline.pattern: 多行合并匹配规则，匹配正则表达式。
• multiline.match:匹配可以设置为“after”或“before”。它用于定义是否应该将行追加到模式中在之前或之后匹配的，或者只要模式没有基于negate匹配。注意:在Logstash中，After等同于previous, before等同于next.
• multiline.negate: 定义模式下的模式是否应该被否定。默认为false。这个配置有点绕，其实就是负负得正，如果符合上面的就配置false，否则就配置true。

一个简单的input输入示例:

filebeat.inputs:

• type: log
  enabled: true
  paths:
• /home/logs/*.txt

上述这段配置表示采集/home/logs/目录所有后缀名为.txt的日志。

在采集日志时，会涉及到对于应用中异常堆栈日志的处理，我们使用了logstash实现了日志归并，在本篇中我们也可以使用filbeat来实现合并。使用multiline.pattern、multiline.negate和multiline.match来实现，我们通过制定匹配规则将以空格开头的所有行合并到上一行,并把以Caused by开头的也追加到上一行。

示例:

filebeat.inputs:

• type: log
  enabled: true
  paths:
• /home/logs/*.txt
  multiline.pattern: ‘^{[[:space:]]+(at|.{3})\b|}Caused by:’
  multiline.negate: false
  multiline.match: after

若是想采集多个目录，第一种方式，直接在采集的目录下再添加一行 示例图:

第二种方式，想采集多个目录并且输出到不同的索引库中，可以增加fields来表示，类似logstash的type。 示例图:

判断的时候，使用if [fields][log-test] == "true"{ } 这样既可。

output

output主要作用是将数据进行输出，比如输出到kafka、elasticsearch或者logstash中。 这里将数据输出到ElasticSearch中，如果是集群，通过逗号可以配置多个节点。

示例:

output.elasticsearch:
hosts: [“127.0.0.1:9200”]

按照上述配置会将读取的数据输出默认的模板索引库中，如果我们想指定索引库输出的话，只需要添加索引库名称即可。

示例:

output.elasticsearch:
hosts: [“127.0.0.1:9200”]
index: “mylog”

输出到Logstash配置:

output.logstash:
hosts: [“localhost:5044”]

3，使用

demo

在/home/logs/目录下添加一个日志文件， 然后在filebeat文件夹中创建一个filebeat_test.yml文件，然后在该文件中添加如下配置:

filebeat.inputs:

• type: log
  enabled: true
  paths:
• /home/logs/*.txt
  multiline.pattern: ‘^{[[:space:]]+(at|.{3})\b|}Caused by:’
  multiline.negate: false
  multiline.match: after

output.elasticsearch:
hosts: [“192.168.8.78:9200”]

使用root用户在filebeat文件夹输入

./filebeat -c filebeat_test.yml test config

进行配置启动测试

启动命令:

./filebeat -e -c filebeat_logstash.yml

后台启动命令:

nohup ./filebeat -c filebeat_logstash.yml >/dev/null 2>&1 &

若是后台启动，可以在filebeat统计目录的logs目录查看日志信息。

启动filebeat采集日志写入到ES中，默认会使用filebeat的模板

示例图如下:

自定义json写入

有时候，我们想采集json文件并直接将json文件的数据按照格式写入到ES对应的索引库中，我们也可以通过filebeat去实现。

1.在filebeat的目录下创建一个filebeat_json.yml的yml文件。

配置文件:

filebeat.inputs:

• type: log
  enabled: true
  tags: [“i”, “love”, “json”]
  json.message_key: user_name
  json.keys_under_root: true
  json.add_error_key: true
  fields:
  qwe: xuwujing
  paths:
• /home/logs/myjson.log

output.elasticsearch:
hosts: [“127.0.0.1:9200”]
index: “myjson_index”

setup.ilm.enabled: false
setup.template.name: myjson_index
setup.template.pattern: myjson_index

2.在kibana的开发工具页面中执行如下语句:

PUT myjson_index
{

最后

既已说到spring cloud alibaba，那对于整个微服务架构，如果想要进一步地向上提升自己，到底应该掌握哪些核心技能呢？

就个人而言，对于整个微服务架构，像RPC、Dubbo、Spring Boot、Spring Cloud Alibaba、Docker、kubernetes、Spring Cloud Netflix、Service Mesh等这些都是最最核心的知识，架构师必经之路！下图，是自绘的微服务架构路线体系大纲，如果有还不知道自己该掌握些啥技术的朋友，可根据小编手绘的大纲进行一个参考。

如果觉得图片不够清晰，也可来找小编分享原件的xmind文档！

且除此份微服务体系大纲外，我也有整理与其每个专题核心知识点对应的最强学习笔记：

• 出神入化——SpringCloudAlibaba.pdf

• SpringCloud微服务架构笔记（一）.pdf

• SpringCloud微服务架构笔记（二）.pdf

• SpringCloud微服务架构笔记（三）.pdf

• SpringCloud微服务架构笔记（四）.pdf

• Dubbo框架RPC实现原理.pdf

• Dubbo最新全面深度解读.pdf

• Spring Boot学习教程.pdf

• SpringBoo核心宝典.pdf

• 第一本Docker书-完整版.pdf

• 使用SpringCloud和Docker实战微服务.pdf

• K8S(kubernetes)学习指南.pdf

另外，如果不知道从何下手开始学习呢，小编这边也有对每个微服务的核心知识点手绘了其对应的知识架构体系大纲，不过全是导出的xmind文件，全部的源文件也都在此！

服务.pdf

• K8S(kubernetes)学习指南.pdf

[外链图片转存中…(img-bDaDElnI-1714649286149)]

另外，如果不知道从何下手开始学习呢，小编这边也有对每个微服务的核心知识点手绘了其对应的知识架构体系大纲，不过全是导出的xmind文件，全部的源文件也都在此！

[外链图片转存中…(img-xFdCoeDI-1714649286149)]

本文已被CODING开源项目：【一线大厂Java面试题解析+核心总结学习笔记+最新讲解视频+实战项目源码】收录