Beats入门

1. 简介

• Lightweight Data Shipper
  • Filebeat 日志文件
  • Metricbeat 度量数据
  • Packetbeat 网络数据
  • Winlogbeat Windows数据
  • Heartbeat 健康检查

2. Filebeat简介

• 处理流程
  • 输入input
  • 处理filter
  • 输入output
• 构成
  • Prospector 观察者
  • Harvester 收割者
• Filebeat Input配置
  • yaml语法

    filebeat.prospectors:
        -input_type: log
         paths:
            -/var/log/apache/http-*.log
        -input_type: log
         paths:
            -/var/log/messages
            -/var/log/*.log

  • input_type
    • log
    • stdin
• Filebeat Output配置
  • Console
  • Elasticsearch
  • Logstash
  • Kafka
  • Redis
  • File

    output.elasticsearch:
        hosts: ["http://localhost:9200"]
        username: "admin"
        password: "admin"
    output.console:
        pretty: true

• Filebeat Filter配置
  • Input时处理
    • Include_lines
    • exclude_lines
    • exclude_files
  • Output前处理 -- Processor
    • drop_event
    • drop_fields
    • Decode_json_fields
    • Include_fields

      processors:
          - drop_event:
              when:
                  regexp:
                      message: "^DBG:"
      
      processors:
          - decode_json_fields:
              fields: ["inner"]

       

3. Filebeat高级使用

• Filebeat缺乏数据转换的能力
• Elasticsearch Ingest Node
  • 新增的node类型
  • 在数据写入es前对数据进行处理转换
  • pipleline api
• Filebeat Module
  • 对于社区常见需求进行配置封装增加易用性
    • nginx
    • apache
    • mysql
  • 封装内容
    • filebeat.yml配置
    • ingest node pipeline 配置
    • Kibana dashboard

4. Packetbeat简介

• 实时抓取网络包
• 自动解析应用层协议
  • ICMP(v4 and v6)
  • DNS
  • HTTP
  • Mysql
  • Redis
  • ....
• Wireshark