Elasticsearch7.17 七 :Logstash与FileBeat详解以及ELK整合

最新推荐文章于 2024-06-23 14:26:19 发布
最新推荐文章于 2024-06-23 14:26:19 发布
阅读量1.6k 收藏 8
点赞数 1
文章标签： elk java 开发语言
原文链接：https://blog.csdn.net/admin522043032/article/details/125514333?spm=1001.2014.3001.5502
版权

Logstash与FileBeat详解以及ELK整合

ELK架构

ELK架构分为两种，一种是经典的ELK，另外一种是加上消息队列（Redis或Kafka或RabbitMQ）和Nginx结构。
经典的ELK主要是由Filebeat + Logstash + Elasticsearch + Kibana组成，如下图：（早期的ELK只有Logstash + Elasticsearch + Kibana）
在这里插入图片描述

此架构主要适用于数据量小的开发环境，存在数据丢失的危险。

整合消息队列+Nginx架构:
在这里插入图片描述

Logstash介绍和使用

Logstash 是免费且开放的服务器端数据处理管道，能够从多个来源采集数据，转换数据，然后将数据发送到您最喜欢的存储库中。
Logstash核心概念
Pipeline：

  • 包含了input—filter-output三个阶段的处理流程
  • 插件生命周期管理
  • 队列管理

Logstash Event

  • 数据在内部流转时的具体表现形式。数据在input 阶段被转换为Event，在 output被转化成目标格式数据
  • Event 其实是一个Java Object，在配置文件中，对Event 的属性进行增删改查

Codec (Code / Decode)
将原始数据decode成Event;将Event encode成目标数据
在这里插入图片描述
插件
Logstash的配置文件主要分为三个部分input 、filter 、output 。每个部分都可以配置多个插件
Input Plugins：https://www.elastic.co/guide/en/logstash/7.17/input-plugins.html

常见的输入插件：
Stdin / File
Beats / Log4J /Elasticsearch / JDBC / Kafka /Rabbitmq /Redis
JMX/ HTTP / Websocket / UDP / TCP
Google Cloud Storage / S3
Github / Twitter

Output Plugins:https://www.elastic.co/guide/en/logstash/7.17/output-plugins.html

常见的输出插件
Elasticsearch
Email / Pageduty
Influxdb / Kafka / Mongodb / Opentsdb / Zabbix
Http / TCP / Websocket

Filter Plugins:https://www.elastic.co/guide/en/logstash/7.17/filter-plugins.html

事件处理插件
Mutate 一操作Event的字段
Metrics — Aggregate metrics
Ruby 一执行Ruby 代码

Codec Plugins:https://www.elastic.co/guide/en/logstash/7.17/codec-plugins.html

事件编译插件
Line / Multiline
JSON / Avro / Cef (ArcSight Common Event Format)
Dots / Rubydebug

Logstash安装和使用

下载并解压logstash： https://www.elastic.co/cn/downloads/past-releases#logstash
选择版本：7.17.3
安装：

  1. 下载对应环境的安装包，并上传到对应路径。
  2. 解压：tar -zxvf logstash-7.17.3-linux-x86_64.tar.gz

测试：运行最基本的logstash

cd logstash-7.17.3
#linux
#-e选项表示，直接把配置放在命令中，这样可以有效快速进行测试
bin/logstash -e 'input { stdin { } } output { stdout {} }'
#windows
.\bin\logstash.bat -e "input { stdin { } } output { stdout {} }"
  • 启动时应注意: -e 参数后要使用单引号或者双引号。如果在命令行启动日志中看到 “Successfully started Logstash API end-point l:port= >9600”，就证明启动成功。这个启动过程会非常慢，需要耐心等待。
    在这里插入图片描述
  • 在上面的命令行中，-e 代表输入配置字符串，定义了一个标准输入插件( 即 stdin) 和一个标准输出插件( 即 stdout)，意思就是从命令行提取输入，并在命令行直接将提取的数据输出。如果想要更换输入或输出，只要将 input 或 output 中的插件名称更改即可，这充分体现了 Logstash 管道配置的灵活性。按示例启动 Logstash，命令行将会等待输入，输入“Hello world!"后会在命令行返回如下结果
    在这里插入图片描述

Logstash导入数据到ES

测试数据集下载：https://grouplens.org/datasets/movielens/
下载好数据集放到对应的目录 解压

命令：unzip ml-25m.zip

编写logstash-movie.conf配置文件

input {
  file {
    path => "/usr/local/es/dataset/moves/ml-25m/movies.csv"
    start_position => "beginning"
    sincedb_path => "/dev/null"
  }
}
filter {
  csv {
    separator => ","
    columns => ["id","content","genre"]
  }

  mutate {
    split => { "genre" => "|" }
    remove_field => ["path", "host","@timestamp","message"]
  }

  mutate {

    split => ["content", "("]
    add_field => { "title" => "%{[content][0]}"}
    add_field => { "year" => "%{[content][1]}"}
  }

  mutate {
    convert => {
      "year" => "integer"
    }
    strip => ["title"]
    remove_field => ["path", "host","@timestamp","message","content"]
  }

}
output {
   elasticsearch {
     hosts => "http://192.168.213.1138:9200"
     index => "movies"
     document_id => "%{id}"
     user => "elastic"
     password => "123456"
   }
  stdout {}
}

运行logstash

# linux
bin/logstash -f config/logstash-movie.conf

在这里插入图片描述
可以看到原始数据按照这个格式输出。然后来看下es上有没有对应的数据
在这里插入图片描述
在这里插入图片描述

Logstash从数据库中导入数据到ES

测试数据：

#user表
CREATE TABLE `user_elk` (
  `id` int NOT NULL AUTO_INCREMENT,
  `name` varchar(50) DEFAULT NULL,
  `address` varchar(50) DEFAULT NULL,
  `last_updated` bigint DEFAULT NULL,
  `is_deleted` int DEFAULT NULL,
  PRIMARY KEY (`id`)
) ENGINE=InnoDB AUTO_INCREMENT=2 ;
#插入数据
INSERT INTO user_elk(name,address,last_updated,is_deleted) VALUES("张三","广州天河",unix_timestamp(NOW()),0)

拷贝jdbc依赖到logstash-7.17.3/driver目录下
Logstash配置文件

input {
  jdbc {
    jdbc_driver_library => "/usr/local/es/logstash-7.17.3/driver/mysql-connector-java-5.1.48.jar"
    jdbc_driver_class => "com.mysql.jdbc.Driver"
    jdbc_connection_string => "jdbc:mysql://xxx:3306/user?useSSL=false"
    jdbc_user => "root"
    jdbc_password => "xxx"
     #启用追踪，如果为true，则需要指定tracking_column
    use_column_value => true
    tracking_column => "last_updated"
     #追踪字段的类型，目前只有数字(numeric)和时间类型(timestamp)，默认是数字类型
    tracking_column_type => "numeric"
     #记录最后一次运行的结果
    record_last_run => true
      #上面运行结果的保存位置
    last_run_metadata_path => "jdbc-position.txt"
    statement => "SELECT * FROM user_elk where last_updated >:sql_last_value;"
     #定时执行
    schedule => " * * * * * *"
  }
}
output {
  elasticsearch {
    document_id => "%{id}"
    document_type => "_doc"
    index => "users"
    hosts => ["http://192.168.10.114:9200"]
    user => "elastic"
    password => "123456"
  }
  stdout{
    codec => rubydebug
  }
}

ps:添加到配置文件的时候，记得吧中文注释去掉，不然Logstash运行不起来。

运行Logstash

bin/logstash -f config/mysql_data.conf
在这里插入图片描述
有sql语句输出说明成功，查看es数据
在这里插入图片描述
当对数据进行增删改查的时候 Logstash回同步的把数据库的变动更新到ES当中，因为 Logstash会定时去执行配置文件中的sql，SELECT * FROM user_elk where last_updated >:sql_last_value :sql_last_value表示最后一次执行成功的时间戳的值，这个值记录在jdbc-position.txt 也是在配置文件中配好的。
而且删除必须是 逻辑删除才会奏效。
测试

# 更新
update user_elk set address="广州白云山",last_updated=unix_timestamp(NOW()) where name="张三"
#删除
update user_elk set is_deleted=1,last_updated=unix_timestamp(NOW()) where name="张三"

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
当我们在数据中进行删除以后，就不能在查出数据，所以要在es中进行过滤

# 添加别名 进行过滤
POST _aliases
{
"actions": [
  {
    "add": {
      "index": "users",
      "alias": "show_users",
      "filter": {
        "term": {
          "is_deleted": "0"
        }
      }
    }
  }
]  
}
# 查询
GET show_users/_search
{
  "query": {
    "term": {
      "name.keyword": {
        "value": "张三"
      }
    }
  }
}

在这里插入图片描述

Beats介绍和使用

Beats 是一个免费且开放的平台，集合了多种单一用途的数据采集器。它们从成百上千或成千上万台机器和系统向 Logstash 或 Elasticsearch 发送数据
在这里插入图片描述

FileBeat简介

FileBeat专门用于转发和收集日志数据的轻量级采集工具。它可以作为代理安装在服务器上，FileBeat监视指定路径的日志文件，收集日志数据，并将收集到的日志转发到Elasticsearch或者Logstash。

FileBeat的工作原理
启动FileBeat时，会启动一个或者多个输入（Input），这些Input监控指定的日志数据位置。FileBeat会针对每一个文件启动一个Harvester。Harvester读取每一个文件的日志，将新的日志发送到libbeat，libbeat将数据收集到一起，并将数据发送给输出（Output）。

logstash vs FileBeat

  • Logstash是在jvm上运行的，资源消耗比较大。而FileBeat是基于golang编写的，功能较少但资源消耗也比较小，更轻量级。
  • Logstash 和Filebeat都具有日志收集功能，Filebeat更轻量，占用资源更少
  • Logstash 具有Filter功能，能过滤分析日志
  • 一般结构都是Filebeat采集日志，然后发送到消息队列、Redis、MQ中，然后Logstash去获取，利用Filter功能过滤分析，然后存储到Elasticsearch中
  • FileBeat和Logstash配合，实现背压机制。当将数据发送到Logstash或 Elasticsearch时，Filebeat使用背压敏感协议，以应对更多的数据量。如果Logstash正在忙于处理数据，则会告诉Filebeat 减慢读取速度。一旦拥堵得到解决，Filebeat就会恢复到原来的步伐并继续传输数据。

FileBeat的安装和使用

下载并解压Filebeat
下载地址：https://www.elastic.co/cn/downloads/past-releases#filebeat

编辑配置
修改 filebeat.yml 以设置连接信息：

output.elasticsearch:
  hosts: ["192.168.213.138:9200","192.168.213.138:9200","192.168.10.140:9200"]
  username: "elastic"
  password: "123456"
setup.kibana:
  host: "192.168.213.138:5601"

启用和配置数据收集模块

查看可以模块列表

./filebeat modules list
#启用 Logstash 模块
./filebeat modules enable logstash
#在 modules.d/logstash.yml 文件中修改设置
- module: logstash
  log:
    enabled: true
    var.paths: ["/usr/local/logstash/logs/*.log"]

启动 Filebeat

# setup命令加载Kibana仪表板。 如果仪表板已经设置，则忽略此命令。 
./filebeat setup
# 启动Filebeat
./filebeat -e

访问kibana网址，进入一下页面查看
在这里插入图片描述

ELK整合收集项目日志

有两台服务器 ip分别为 xxx.217和xxx.108。其中217部署项目，108部署Logstash、kibana、es。由于filebeat需要收集日志，所以filebeat部署在271服务器
kibana、es按照之前博客配置能启动就好 不需要额外配置。本次案例不使用密码认证，如果es配置了密码的话，相应的Logstash、kibana也要配置响应密码。
项目的日志路径

/usr/local/springcloud/xxx/logs

filebeat部署
安装下载安装就不再说了，具体配置
filebeat.yml

filebeat.inputs:
  - type: log
    enabled: true
    paths:
      # 当前目录下的所有.log文件
      - /usr/local/springcloud/xxx/logs/*.log
    multiline.pattern: ^\[
    multiline.negate: true
    multiline.match: after
  - type: tcp
    enabled: true
    max_message_size: 10MiB
    # 监听9000端口
    host: "0.0.0.0:9000"
filebeat.config.modules:
  path: ${path.config}/modules.d/*.yml
  reload.enabled: false
setup.template.settings:
  index.number_of_shards: 1
setup.dashboards.enabled: false
setup.kibana:
  host: "http://xxx.108:5601"
output.logstash:
  # The Logstash hosts
  hosts: ["xxx.108:5044"]
processors:
  - add_host_metadata:
      when.not.contains.tags: forwarded
  - add_cloud_metadata: ~
  - add_docker_metadata: ~
  - add_kubernetes_metadata: ~

执行./filebeat setup没报错即可退出
Logstash部署
下载安装也不再说。看配置
logstash.yml

http.host: "0.0.0.0"

编写filebeat输入到Logstash的配置文件
xxx-log-logstash.conf

input {
    # 来源beats
    beats {
        # 端口
        port => "5044"
    }
}
# 分析、过滤插件，可以多个
filter {
    grok {
        match => { "message" => "%{COMBINEDAPACHELOG}"}
    }
    geoip {
        source => "clientip"
    }
}
output {
    # 选择elasticsearch
    elasticsearch {
        hosts => ["http://xxx.108:9200"]
        index => "xxx-log-%{+YYYY.MM.dd}"
    }
}

日志收集
按顺序启动es，启动kibana，启动Logstash，启动filebeat
记得开放对应的端口。
filebeat的数据来源：1. 从9000端口监听数据 2. 扫描日志路径下的日志文件，所以需要开启9000端口
Logstash的监听来自5044端口打的数据，因此需要开放5044端口。
启动成功后从kibana上查看数据
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
出现对应xxx-log-日期的索引。再看下具体数据
首先创建索引模式
在这里插入图片描述
在这里插入图片描述
我这里是已经创建好了的。
创建好后点击
在这里插入图片描述
在这里插入图片描述
就可以从这里更直观的看到数据

逐风&者
关注
  • 1
    点赞
  • 踩
  • 8
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
ELK镜像：elasticsearch:7.17.6+kibana:7.17.6+logstash:7.17.6 下载
05-15
ELK:elasticsearch:7.17.6+kibana:7.17.6+logstash:7.17.6 支持操作系统：centos7 中标麒麟、银河麒麟、通信UOS 均已经验证 安装方式，docker安装
elasticsearch7.17.11版本分词器插件安装包
11-13
Elasticsearch（简称ES）是一款基于Lucene的分布式、RESTful搜索引擎，广泛应用于日志收集、数据分析等领域，是ELK（Elasticsearch、Logstash、Kibana）堆栈的重要组成部分。在处理中文数据时，合理的分词对于提升...
手把手教你Windows下搭建Filebeat+Logstash+ElasticSearch+Kibana系统
qq_22193961的博客
04-21 2189
Filebeat+Logstash+ElasticSearch+Kibana系统，快速上手
logstash 和filebeat 关系
Data & Analysis
01-18 1万+
logstash 和filebeat都具有日志收集功能，filebeat更轻量，占用资源更少，但logstash 具有filter功能，能过滤分析日志。一般结构都是filebeat采集日志，然后发送到消息队列，redis，kafaka。然后logstash去获取，利用filter功能过滤分析，然后存储到elasticsearch中。 1. logstash和filebeat都是可以作为日志采集的工具，目前日志采集的工具有很多种，如fluentd, flume, logstash,betas等等。甚至最后我
ElasticSearch7.17.19集群搭建+Kibana
最新发布
Kodak
06-23 261
ElasticSearch集群搭建
详解日志采集工具--Logstash、Filebeat、Fluentd、Logagent对比
大鹏
08-10 5497
Logstash Logstash是一个开源数据收集引擎，具有实时管道功能。Logstash可以动态地将来自不同数据源的数据统一起来，并将数据标准化到你所选择的目的地。 优势 Logstash 主要的有点就是它的灵活性，主要因为它有很多插件，详细的文档以及直白的配置格式让它可以在多种场景下应用。我们基本上可以在网上找到很多资源，几乎可以处理任何问题。 劣势 Logstash 致命的问题是它的性能以及资源消耗(默认的堆大小是 1GB)。尽管它的性能在近几年已经有很大提升，与它的替代者们相比还是要
日志数据同步工具filebeat和logstash介绍和使用
迷雾总会解
06-03 3549
官方介绍：Logstash is an open source data collection engine with real-time pipelining capabilities。简单来说logstash就是一根具备实时数据传输能力的管道，负责将数据信息从管道的输入端传输到管道的输出端；与此同时这根管道还可以让你根据自己的需求在中间加上滤网，Logstash提供里很多功能强大的滤网以满足你的各种应用场景。
filebeat vs logstash
abcd1101的专栏
10-15 4554
filebeat比logstash轻量，轻量在占用资源少，少十倍左右 大家可以用ps aux | grep logstash | awk '{print $2}' 然后cat /proc/12628/status | grep -i vm来看差别 为什么会有这么大的差别？因为filebeat是用go编写，logstash使用ruby写的。Logstash会占用不少的jvm。 当然，也...
EFLK与logstash过滤
2301_78106979的博客
10-16 540
目录一、Filebeat工作原理：二、为什么要使用Filebeat：三、Filebeat和Logstash的区别：四、logstash 的过滤插件：五、Filebeat+ELK 部署： 1. 安装filebeat： 2. 设置 filebeat 的主配置文件： 3. 启动 filebeat: 4. 新建一个 Logstash 配置文件:六、grok 使用： 1.内置正则表达式调用： 2. 自定义表达式调用： 2.1 格式：七、multiline 多行合并插件： 1. 安装 multiline 插件： 2.
elasticsearch7.17.9版本分词器插件安装包
11-13
"ES"是Elasticsearch的简称，而"ELK"栈是指Elasticsearch、Logstash和Kibana的组合，常用于日志管理和分析。这个分词器插件可以与Logstash集成，帮助处理和分析来自各种日志源的数据。 压缩包中的其他文件如`...
elasticsearch7.17.13版本分词器插件安装包
11-13
《Elasticsearch 7.17.13 分词器插件安装详解》 在大数据时代，搜索引擎的高效精准检索成为关键。Elasticsearch（ES）作为一款强大的开源搜索引擎，广泛应用于日志收集、数据分析等领域。为了提升中文文本处理的...
elasticsearch7.17.14版本分词器插件安装包
11-13
在日志收集和分析领域，Elasticsearch（简称ES）是广泛应用的搜索引擎和数据分析工具，它与Logstash（数据采集）、Kibana（数据可视化）共同构成了ELK（Elasticsearch、Logstash、Kibana）栈。对于中文处理，分词器...
filebeat+logstash配置
Baron_ND的博客
10-29 7140
Logstash依赖于JVM，在启动的时候大家也很容易就能发现它的启动速度很慢很慢，但logstash的好处是支持很多类型的插件，支持对数据做预处理。而filebeat很轻量，前身叫logstash-forward，是使用Golang开发的，所以不需要有java依赖，也很轻量，占用资源很小，但功能也很少，不支持对数据做预处理。因此一般都是将filebeat+logstash组合使用，在每个节点部署filbeat，然后将监控的日志推送到数据缓冲层或直接推送到logstash集群内，配合redis或kafka做
Flume、Logstash、Filebeat对比
u011250186的博客
02-22 811
日志采集工具对比 1、Flume简介 Flume的设计宗旨是向Hadoop集群批量导入基于事件的海量数据。系统中最核心的角色是agent，Flume采集系统就是由一个个agent所连接起来形成。每一个agent相当于一个数据传递员，内部有三个组件： source: 采集源，用于跟数据源对接，以获取数据 sink：传送数据的目的地，用于往下一级agent或者最终存储系统传递数据 channel：agent内部的数据传输通道，用于从source传输数据到sink 2、L..
ElasticStack日志分析平台－Filebeat与Logstash
weixin_61428407的博客
11-15 448
ElasticStack日志分析平台－Filebeat与Logstash
Logstash：用 Filebeat 把数据传入到 Logstash
热门推荐
Elastic 中国社区官方博客
09-10 1万+
在今天的讲座里，我们来讲述一下如何把Filebeat里的数据传入到Logstash之中。在做这个练习之前，我想信大家已经安装我之前的文章“如何安装Elastic栈中的Logstash”把Logstash安装好。 之前，我们介绍了一这样的一幅图： 如上图所示，我们可以直接把beats里的数据直接传入到Elasticsearch，也可以直接接入到Logstash之中。 数据采集流程： ...
logstash 与filebeat
飞奔的小强
11-19 2964
1.logstash 和filebeat 是什么关系 因为logstash是jvm跑的，资源消耗比较大，所以后来作者又用golang写了一个功能较少但是资源消耗也小的轻量级的logstash-forwarder。不过作者只是一个人，加入http://elastic.co公司以后，因为es公司本身还收购了另一个开源项目packetbeat，而这个项目专门就是用golang的，有整个团队，所以es公司...
安装 elk 7.17.0 详细流程
2303_77130572的博客
07-24 755
详细讲了如何安装elk全过程
【SpringBoot】五、日志配置（Log4j2、Logback）
winrh的博客
09-02 1318
目录 一、介绍 二、Logback 1. 生成日志对象 2. 日志级别 3. 输出日志文件 （1）默认输出 （2）自定义输出 （3）设置文件属性 4. 输出格式设置 5. 指定日志配置文件 三、Log4j2 1. 配置依赖 2. 配置默认文件log4j2.yml （1）resources下创建log4j2.yml （2）在application.yml中配置读取该yml文件 （3）编辑log4j2.yml （4）如果颜色显示不了 一、介绍 常见的日志框架有下面这...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值