图文详解：ElasticSearch实战，让你Filebeat快速入门和使用

• Kibana 也是一个开源和免费的工具，Kibana可以为 Logstash 和 ElasticSearch 提供的日志分析友好的 Web 界面，可以帮助汇总、分析和搜索重要数据日志。

• Filebeat是一个轻量型日志采集器，可以方便的同kibana集成，启动filebeat后，可以直接在kibana中观看对日志文件进行detail的过程。

Filebeat介绍

Filebeat 是使用 Golang 实现的轻量型日志采集器，也是 Elasticsearch stack 里面的一员。本质上是一个 agent ，可以安装在各个节点上，根据配置读取对应位置的日志，并上报到相应的地方去。 Filebeat 的可靠性很强，可以保证日志 At least once 的上报，同时也考虑了日志搜集中的各类问题，例如日志断点续读、文件名更改、日志 Truncated 等。 Filebeat 并不依赖于 ElasticSearch，可以单独存在。我们可以单独使用Filebeat进行日志的上报和搜集。filebeat 内置了常用的 Output 组件, 例如 kafka、ElasticSearch、redis 等，出于调试考虑，也可以输出到 console 和 file 。我们可以利用现有的 Output 组件，将日志进行上报。 当然，我们也可以自定义 Output 组件，让 Filebeat 将日志转发到我们想要的地方。 filebeat 其实是 elastic/beats 的一员，除了 filebeat 外，还有 HeartBeat、PacketBeat。这些 beat 的实现都是基于 libbeat 框架。

Filebeat 由两个主要组件组成：harvester 和 prospector。

采集器 harvester 的主要职责是读取单个文件的内容。读取每个文件，并将内容发送到 the output。 每个文件启动一个 harvester，harvester 负责打开和关闭文件，这意味着在运行时文件描述符保持打开状态。如果文件在读取时被删除或重命名，Filebeat 将继续读取文件。

查找器 prospector 的主要职责是管理 harvester 并找到所有要读取的文件来源。如果输入类型为日志，则查找器将查找路径匹配的所有文件，并为每个文件启动一个 harvester。每个 prospector 都在自己的 Go 协程中运行。

注：Filebeat prospector只能读取本地文件， 没有功能可以连接到远程主机来读取存储的文件或日志。

Filebeat安装使用

Filebeat下载地址推荐使用清华大学或华为的开源镜像站。

三、Filebeat安装

1，文件准备

将下载下来的filebeat-7.3.2-linux-x86_64.gz的配置文件进行解压 在linux上输入:

tar -xvf filebeat-7.3.2-linux-x86_64.tar.gz

然后移动到/opt/elk 里面，然后将文件夹重命名为 filebeat-7.3.2 输入

mv filebeat-7.3.2-linux-x86_64 /opt/elk mv filebeat-7.3.2-linux-x86_64 filebeat-7.3.2

2，配置修改

这里简单介绍一下 filebeat.inputs，和outputs的主要配置。

inputs

inputs主要使用的几个配置项:

• paths:必选项,读取文件的路径，基于glob匹配语法。
• enabled:是否启用该模块。
• exclude_lines: 排除匹配列表中的正则表达式。
• include_lines：包含匹配列表中的正则表达式。
• exclude_files: 排除的文件,匹配正则表达式的列表。
• fields: 可选的附加字段。这些字段可以自由选择,添加附加信息到抓取的日志文件进行过滤。
• multiline.pattern: 多行合并匹配规则，匹配正则表达式。
• multiline.match:匹配可以设置为“after”或“before”。它用于定义是否应该将行追加到模式中在之前或之后匹配的，或者只要模式没有基于negate匹配。注意:在Logstash中，After等同于previous, before等同于next.
• multiline.negate: 定义模式下的模式是否应该被否定。默认为false。这个配置有点绕，其实就是负负得正，如果符合上面的就配置false，否则就配置true。

一个简单的input输入示例:

filebeat.inputs:

• type: log
  enabled: true
  paths:
• /home/logs/*.txt

上述这段配置表示采集/home/logs/目录所有后缀名为.txt的日志。

在采集日志时，会涉及到对于应用中异常堆栈日志的处理，我们使用了logstash实现了日志归并，在本篇中我们也可以使用filbeat来实现合并。使用multiline.pattern、multiline.negate和multiline.match来实现，我们通过制定匹配规则将以空格开头的所有行合并到上一行,并把以Caused by开头的也追加到上一行。

示例:

filebeat.inputs:

• type: log
  enabled: true
  paths:
• /home/logs/*.txt
  multiline.pattern: ‘^{[[:space:]]+(at|.{3})\b|}Caused by:’
  multiline.negate: false
  multiline.match: after

若是想采集多个目录，第一种方式，直接在采集的目录下再添加一行 示例图:

第二种方式，想采集多个目录并且输出到不同的索引库中，可以增加fields来表示，类似logstash的type。 示例图:

判断的时候，使用if [fields][log-test] == "true"{ } 这样既可。

output

output主要作用是将数据进行输出，比如输出到kafka、elasticsearch或者logstash中。 这里将数据输出到ElasticSearch中，如果是集群，通过逗号可以配置多个节点。

示例:

output.elasticsearch:
hosts: [“127.0.0.1:9200”]

按照上述配置会将读取的数据输出默认的模板索引库中，如果我们想指定索引库输出的话，只需要添加索引库名称即可。

示例:

output.elasticsearch:
hosts: [“127.0.0.1:9200”]
index: “mylog”

输出到Logstash配置:

output.logstash:
hosts: [“localhost:5044”]

3，使用

demo

在/home/logs/目录下添加一个日志文件， 然后在filebeat文件夹中创建一个filebeat_test.yml文件，然后在该文件中添加如下配置:

filebeat.inputs:

• type: log
  enabled: true
  paths:
• /home/logs/*.txt
  multiline.pattern: ‘^{[[:space:]]+(at|.{3})\b|}Caused by:’
  multiline.negate: false
  multiline.match: after

output.elasticsearch:
hosts: [“192.168.8.78:9200”]

使用root用户在filebeat文件夹输入

./filebeat -c filebeat_test.yml test config

进行配置启动测试

启动命令:

./filebeat -e -c filebeat_logstash.yml

后台启动命令:

nohup ./filebeat -c filebeat_logstash.yml >/dev/null 2>&1 &

若是后台启动，可以在filebeat统计目录的logs目录查看日志信息。

启动filebeat采集日志写入到ES中，默认会使用filebeat的模板

示例图如下:

自定义json写入

有时候，我们想采集json文件并直接将json文件的数据按照格式写入到ES对应的索引库中，我们也可以通过filebeat去实现。

1.在filebeat的目录下创建一个filebeat_json.yml的yml文件。

配置文件:

filebeat.inputs:

• type: log
  enabled: true
  tags: [“i”, “love”, “json”]
  json.message_key: user_name
  json.keys_under_root: true
  自我介绍一下，小编13年上海交大毕业，曾经在小公司待过，也去过华为、OPPO等大厂，18年进入阿里一直到现在。

深知大多数Java工程师，想要提升技能，往往是自己摸索成长或者是报班学习，但对于培训机构动则几千的学费，着实压力不小。自己不成体系的自学效果低效又漫长，而且极易碰到天花板技术停滞不前！

因此收集整理了一份《2024年Java开发全套学习资料》，初衷也很简单，就是希望能够帮助到想自学提升又不知道该从何学起的朋友，同时减轻大家的负担。

既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，基本涵盖了95%以上Java开发知识点，真正体系化！

由于文件比较大，这里只是将部分目录截图出来，每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频，并且会持续更新！

如果你觉得这些内容对你有帮助，可以扫码获取！！（备注Java获取）

最后

面试是跳槽涨薪最直接有效的方式，马上金九银十来了，各位做好面试造飞机，工作拧螺丝的准备了吗？

掌握了这些知识点，面试时在候选人中又可以夺目不少，暴击9999点。机会都是留给有准备的人，只有充足的准备，才可能让自己可以在候选人中脱颖而出。

《互联网大厂面试真题解析、进阶开发核心学习笔记、全套讲解视频、实战项目源码讲义》点击传送门即可获取！
中脱颖而出。

[外链图片转存中…(img-plhQ5e2A-1713598912452)]

[外链图片转存中…(img-pxka5s3v-1713598912452)]

《互联网大厂面试真题解析、进阶开发核心学习笔记、全套讲解视频、实战项目源码讲义》点击传送门即可获取！