Filebeat配置（ELK）

---

前言

相关敏感配置信息以自己实际信息为准，下面案例可供参考

---

一、Filebeat简介

1.Filebeat是什么

　　Filebeat是用于转发和集中日志数据的轻量级传送工具。Filebeat监视您指定的日志文件或位置，收集日志事件，并将它们转发到Elasticsearch或 Logstash进行索引。

2.工作流程

　　启动Filebeat时，它将启动一个或多个输入，这些输入将在为日志数据指定的位置中查找。对于Filebeat所找到的每个日志，Filebeat都会启动收集器。每个收集器都读取单个日志以获取新内容，并将新日志数据发送到libbeat，libbeat将聚集事件，并将聚集的数据发送到为Filebeat配置的输出。

二、使用步骤

1.logback配置

pom.xml加入以下jar包：

			<!--logback-->
            <dependency>
                <groupId>net.logstash.logback</groupId>
                <artifactId>logstash-logback-encoder</artifactId>
                <version>6.1</version>
            </dependency>

定义json格式方便filebeat收集（在logback配置文件加上该配置）：

	<appender name="elk-json" class="ch.qos.logback.core.rolling.RollingFileAppender">
        <!-- 日志文件地址 -->
        <file>${LOG_HOME}/json/json.log</file>
        <rollingPolicy
                class="ch.qos.logback.core.rolling.SizeAndTimeBasedRollingPolicy">
            <!-- 每天一归档 -->
            <fileNamePattern>${LOG_HOME}/json/json.log.%d{yyyy-MM-dd}.%i</fileNamePattern>
            <!-- 单个日志文件最多 100MB, 1天的日志周期（因为只是临时记录一个json化的日志文件），最大不能超过5GB -->
            <maxFileSize>100MB</maxFileSize>
            <cleanHistoryOnStart>true</cleanHistoryOnStart>
            <maxHistory>1</maxHistory>
            <totalSizeCap>5GB</totalSizeCap>
        </rollingPolicy>
        <!-- 使用默认json格式化日志解码器输出-->
        <encoder charset="UTF-8" class="net.logstash.logback.encoder.LogstashEncoder">
        </encoder>
        <filter class="ch.qos.logback.classic.filter.ThresholdFilter">
            <level>INFO</level>
        </filter>
    </appender>

在root标签下引入 elk-json

	<root level="debug">
        <appender-ref ref="elk-json"/>
    </root>

2.Filebeat配置

首先进入到filebeat目录下：

cd /opt/filebeat-7.15.0-linux-x86_64/

新建filebeat-tang.yml配置文件

touch filebeat-test.yml

配置如下：

filebeat.inputs:

# 例：对外接口服务日志
- type: log
  #默认为false,修改为true则启用该配置
  enabled: true
  #使用json格式解析日志文件中的每一行
  json.keys_under_root: true
  json.overwrite_keys: true
  paths:
	#服务日志路径
    - /opt/app/test-openapi/logs/resource.log
  #将自定义字段放在顶层发送
  fields_under_root: true
  #自定义字段
  fields:
    #当前服务器公网ip
    runip: 66.66.66.666
	#服务名称
    app_name: test-openapi


# 例：web接口服务日志
- type: log
  #默认为false,修改为true则启用该配置
  enabled: true
  #使用json格式解析日志文件中的每一行
  json.keys_under_root: true
  json.overwrite_keys: true
  paths:
	#服务日志路径
    - /opt/app/test-webapi/logs/resource.log
  #将自定义字段放在顶层发送  
  fields_under_root: true
  #自定义字段
  fields:
    #当前服务器公网ip
    runip: 66.66.66.666
	#服务名称
    app_name: test-webapi
	
	
# 例：nginx 错误日志
- type: log
  paths:
    #需要监听json格式的日志文件地址
    - /opt/nginx-1.20.0/logs/error.log
  #将自定义字段放在顶层发送
  fields_under_root: true
  #自定义字段
  fields:
    runip: 66.66.66.666
    app_name: test-nginx-error

# 例：nginx 访问日志
- type: log
  #使用json格式解析日志文件中的每一行
  json.keys_under_root: true
  json.overwrite_keys: true
  paths:
    #需要监听json格式的日志文件地址
    - /opt/nginx-1.20.0/logs/access_json.log
  #将自定义字段放在顶层发送
  fields_under_root: true
  #自定义字段
  fields:
    runip: 66.66.66.666
    app_name: test-nginx-access

    
#不需要filebeat的策略，自己创建
setup.ilm.enabled: false
setup.template.enabled: false  
output.elasticsearch:
  #elk服务地址，这里做了个简单集群所有有两个地址
  hosts: ["http://66.66.66.888:9200","http://66.66.66.999:9200"]
  username: "elastic"
  password: "123456" 
  index: "%{[app_name]}-%{+yyyy.MM.dd}"

重启Filebeat生效配置：

  nohup ./filebeat  -c filebeat-test.yml >/dev/null 2>&1 &

---

总结

每天进步一点，爱分享爱生活！