elk部署+es二进制部署

Filebeat+Redis+Logstash+Elasticse

elk概述

ELK是一组开源软件的简称，其包括Elasticsearch、Logstash 和 Kibana。ELK最近几年发展迅速，已经成为目前最流行的集中式日志解决方案。
Elasticsearch: 能对大容量的数据进行接近实时的存储，搜索和分析操作。 本项目中主要通过Elasticsearch存储所有获取的日志。
Logstash： 数据收集引擎，它支持动态的的从各种数据源获取数据，并对数据进行过滤，分析，丰富，统一格式等操作，然后存储到用户指定的位置。
Kibana： 数据分析与可视化平台，对Elasticsearch存储的数据进行可视化分析，通过表格的形式展现出来。
Filebeat: 轻量级的开源日志文件数据搜集器。通常在需要采集数据的客户端安装Filebeat,并指定目录与日志格式,Filebeat就能快速收集数据，并发送给logstash进行解析，或是直接发给Elasticsearch存储。
Redis：NoSQL数据库(key-value)，也数据轻型消息队列，不仅可以对高并发日志进行削峰还可以对整个架构进行解耦。

参考博客

https://blog.csdn.net/m0_54255157/article/details/132695348

新型ELK框架

部署过程

1、客户端安装filebeat
早期的ELK架构中使用Logstash收集、解析日志，但是Logstash对内存、cpu、io等资源消耗比较高。相比Logstash，Beats所占系统的CPU和内存几乎可以忽略不计。
Filebeat是用于转发和集中日志数据的轻量级传送工具。Filebeat监视您指定的日志文件或位置，收集日志事件，并将它们转发到Elasticsearch或 Logstash进行索引。

（2）filebeat的工作原理
启动Filebeat时，它将启动一个或多个输入，这些输入将在为日志数据指定的位置中查找。对于Filebeat所找到的每个日志，Filebeat都会启动收集器。每个收集器都读取单个日志以获取新内容，并将新日志数据发送到libbeat，libbeat将聚集事件，并将聚集的数据发送到为Filebeat配置的输出。

工作流程图如下。

从图中所示，filebeat结构：由两个组件构成，分别是inputs（输入）和harvesters（收集器），这些组件一起工作来跟踪文件并将事件数据发送到您指定的输出，harvester负责读取单个文件的内容。harvester逐行读取每个文件，并将内容发送到输出。为每个文件启动一个harvester。harvester负责打开和关闭文件，这意味着文件描述符在harvester运行时保持打开状态。如果在收集文件时删除或重命名文件，Filebeat将继续读取该文件。这样做的副作用是，磁盘上的空间一直保留到harvester关闭。默认情况下，Filebeat保持文件打开，直到达到close_inactive。
关闭harvester可以会产生的结果：
文件处理程序关闭，如果harvester仍在读取文件时被删除，则释放底层资源。
只有在scan_frequency结束之后，才会再次启动文件的收集。
如果该文件在harvester关闭时被移动或删除，该文件的收集将不会继续。

部署

filebeat的安装

wget https://artifacts.elastic.co/downloads/beats/filebeat/filebeat-7.6.2-linux-x86_64.tar.gz
mv filebeat-7.6.2-linux-x86_64.tar.gz /home/tar/
tar -xvf /home/tar/filebeat-7.6.2-linux-x86_64.tar.gz
vim /home/tar/filebeat-7.6.2-linux-x86_64/config/file_beat.yml
enabled：true
paths：程序日志路径
output.redis：日志输出地方
hosts：redis所在服务器IP
port：redis端口
key：redis中的key

# 收取日志信息
filebeat.inputs:
- type: log
  enabled: true
  paths:
    - /home/device-status-handle-service/logs/device_status_handle_service-error.log
  multiline.pattern: '[0-9]{2}:[0-9]{2}:[0-9]{2}'
  multiline.negate: true
  multiline.match: after
  fields:
    log_source: "device-status-handle-service"
    
- type: log
  enabled: true
  paths:
   - /home/datacenter/datacenter-timer-task-handle-service/logs/datacenter_timer_task_handle_service-error.log
  multiline.pattern: '[0-9]{2}:[0-9]{2}:[0-9]{2}'
  multiline.negate: true
  multiline.match: after
  fields:
    log_source: "datacenter-timer-task-handle-service"

# 将上面获取到的日志获取到redis中
output.redis:
  enabled: true
  hosts: ["192.168.5.6:6379"]
  key: "messages"
  db: 1
  password: "sqqadmin"
# 执行
./filebeat -e -c filebeat.yml

# 通过rpm安装的执行
# 配置文件书写
vim /etc/filebeat/filebeat.yml
# 然后启动
systemctl enable filebeat
systemctl start filebeat


# 处理截取问题
- type: log
  enabled: true
  paths:
   - /home/datacenter/datacenter-open-api/logs/datacenter-openapi-info.log
   - /home/datacenter/datacenter-open-api/logs/datacenter-openapi-error.log
  max_bytes: 1073741824
  multiline.pattern: '[0-9]{2}:[0-9]{2}:[0-9]{2}'
  multiline.negate: true
  multiline.match: after
  multiline.max_lines: 5000
  fields:
     log_source: "datacenter-open-api"

将收集到的日志存到不同的redis键值中

filebeat.inputs:
- type: log
  enabled: true
  paths:
    - /home/****-handle-service/.pattern: '[0-9]{2}:[0-9]{2}:[0-9]{2}'
  multiline.negate: true
  multiline.match: after
  fields:
    log_source: "***-handle-service"

output.redis:
  enabled: true
  hosts: ["192.168.5.6:6379"]
  key: "****-handle-service"
  db: 1
  password: "sqqadmin"

filebeat.inputs:
- type: log
  enabled: true
  paths:
    - /home/datacenter/datacenter-timer-task-handle-service/logs/datacenter_timer_task_handle_service-error.log
  multiline.pattern: '[0-9]{2}:[0-9]{2}:[0-9]{2}'
  multiline.negate: true
  multiline.match: after
  fields:
    log_source: "****-handle-service"

output.redis:
  enabled: true
  hosts: ["192.168.5.6:6379"]
  key: "*****handle-service"
  db: 1
  password: "sqqadmin"

logstash取对应的日志

input{
   
    redis{
   
      host=>"192.168.5.6"
      port=>"6379"
      data_type=>"list"
      key=>"*****handle-service"
      password=>"sqqadmin"
      db=> 1
    }
}
output{
   
    elasticsearch{
   
            hosts=>["https://192.168.5.6:9200"]
            index=>"******handle_service-%{+YYYY.MM.dd}"
            user => "elastic"
            password => "5********rnPzW"
            cacert => "/home/tar/logstash-8.9.1/certs/http_ca.crt"
            ssl => true
            ssl_certificate_verification => true
    }
}
input{
   
    redis{
   
      host=>"192.168.5.6"
      port=>"6379"
      data_type=>"list"
      key=>"*****handle-service"
      password=>"sqqadmin"
      db=> 1
    }
}
output{
   
    elasticsearch{
   
            hosts=>["https://192.168.5.6:9200"]
            index=>"********handle-service-%{+YYYY.MM.dd}"
            user => "elastic"
            password => "******o2rnPzW"
            cacert => "/home/tar/logstash-8.9.1/certs/http_ca.crt"