Filebeat 简介和搭建

Filebeat快速入门：安装配置

本指南介绍了如何快速快是收集日志。学习如何：

• 在要监视的每个系统上安装Filebeat
• 指定日志文件的位置
• 将日志数据解析为字段并将其发送到Elasticsearch
• 可视化Kibana中的日志数据

步骤1：安装Filebeat

在要监控的服务器上安装Filebeat。

下载和安装Filebeat，指令如下：

mac:

curl -L -O https://artifacts.elastic.co/downloads/beats/filebeat/filebeat-7.10.0-darwin-x86_64.tar.gz
tar xzvf filebeat-7.10.0-darwin-x86_64.tar.gz

步骤2：连接到Elastic Stack

1. 在 filebeat.yml 文件配置连接到Elasticsearch的地址、端口，一个授权的用户名、密码。例如：

在下载解压的目录filebeat-7.10.0-darwin-x86_64 找到filebeat.yml文件。

output.elasticsearch:
  hosts: ["myEShost:9200"]
  username: "filebeat_internal"
  password: "YOUR_PASSWORD" 

2. 配置Kibana端点。Kibana与Elasticsearch在同一主机上运行跳过。

setup.kibana:
    host: "mykibanahost:5601" 
    username: "my_kibana_user"  
    password: "{pwd}"

步骤3：启动和配置数据收集模块

Filebeat使用模块来收集和解析日志数据。

1. 确定需要启动的模块。查看可用的列表，运行

./filebeat modules list

2. 在安装目录中，启动一个或多个模块。例如：启动system，mysql模块配置：

./filebeat modules enable system mysql

3. 更改模块的配置匹配环境，打开 filebeat-7.10.0-darwin-x86_64/module/example/module/mysql/showlog/mainfest.yml 目录设置模块路径，

module_version: "1.0"

var:
  - name: paths
    default:
      - /~/mysql/mysql-slow.log*
      - /~mysql/{{.builtin.hostname}}-slow.log
    os.darwin:
      - /~/mysql/{{.builtin.hostname}}-slow.log*
    os.windows:
      - "c:/programdata/MySQL/MySQL Server*/mysql-slow.log*"

ingest_pipeline: ingest/pipeline.json
input: config/slowlog.yml

步骤4：设置资源

Filebeat带有预定义的资源，用于解析，索引和可视化数据。

​ 1. 确保在指定的用户filebeat.yml被授权建立Filebeat。

​ 2. 在安装目录运行：

./filebeat setup -e

此步骤将加载推荐的索引模版以写入Elasticsearch，并部署示例仪表板以可视化Kibana中的数据。

步骤5：启动Filebeat

启动Filebeat，运行：

sudo chown root filebeat.yml 
sudo chown root modules.d/system.yml 
sudo ./filebeat -e

Filebeat开始将事件流传输到Elasticsearch。

步骤6：在Kibana中查看数据

Filebeat带有预建的Kibana仪表板和UI，用于可视化日志数据。

1. 打开Kibana，浏览器输入：http://localhsot:5601，
2. 在导航栏，单击Discover，查看Filebeat数据，确保filebeat-*已选择预定义的索引模式。
3. 在导航栏，点击Dashboard，然后选择要打开的仪表板

Exiting: error loading config file: config file ("{beatname}.yml") must be
owned by the beat user (uid=501) or root

https://github.com/elastic/beats/blob/master/docs/devguide/modules-dev-guide.asciidoc

[Filebeat参考7.10]

Kibana 用户手册