【ELK+Filebeat】Windows搭建ELK+Filebeat并在SpringBoot项目中使用

最新推荐文章于 2024-05-18 08:00:00 发布
最新推荐文章于 2024-05-18 08:00:00 发布
阅读量619 收藏 2
点赞数
文章标签： elk windows spring boot
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/sakuraqwqqqqq/article/details/130866162
版权

下载ELK+Filebeat

ElasticSearch：https://www.elastic.co/cn/downloads/elasticsearch
Logstash：https://www.elastic.co/cn/downloads/logstash
Kibana：https://www.elastic.co/cn/downloads/kibana
Filebeat：https://www.elastic.co/cn/downloads/beats/filebeat
下载zip文件

ElasticSearch

  1. 解压zip文件；
  2. 进入config文件夹，可以看见elasticsearch-plugins.example.yml文件，这个文件是官方给出的配置文件的一个示例，我们需要根据这个文件创建一个自己的配置文件；
  3. 创建elasticsearch.yml文件，配置以下内容：
xpack.security.enabled: false
xpack.security.enrollment.enabled: false
xpack.security.http.ssl:
  enabled: false  # 注意这里改成false
  keystore.path: certs/http.p12
xpack.security.transport.ssl:
  enabled: true
  verification_mode: certificate
  keystore.path: certs/transport.p12
  truststore.path: certs/transport.p12
cluster.initial_master_nodes: ["xxxxxx"]  # xxxxxx表示集群节点的名字
http.host: 0.0.0.0
http.cors.enabled: true  # 跨域配置
http.cors.allow-origin: "*"
  1. 保存并退出；
  2. 进入到bin目录下，这个目录下的elasticsearch.bat就是我们需要执行的脚本文件，可以直接双击运行；也可以通过cmd命令运行：
elasticsearch.bat
  1. ElasticSearch的默认端口为9200，启动后访问localhost:9200即可查看是否启动成功。
    查看ElasticSearch是否启动成功

Logstash

  1. 解压zip文件；
  2. 进入config文件夹，可以看见logstash-sample.conf文件，这个文件是官方给出的配置文件的一个示例，我们需要根据这个文件创建一个自己的配置文件；
  3. 创建logstash.conf文件，配置以下内容：
input { 
  beats {
    port => 4560  # 记住这个端口，一会需要在filebeat里面配置
  }
}

output {
  stdout{  codec => rubydebug  { metadata => true }} 
  elasticsearch {  # 输出到es中
    hosts => ["localhost:9200"]
    index => "elk-demo-%{+YYYY.MM.dd}"  # 注册到es中的数据视图名字
  }
}
  1. 保存并退出；
  2. 进入到bin目录下，在当前路径下打开cmd窗口，运行以下命令：
logstash -f ./config/logstash.conf
  1. logstash默认端口是9600，启动后访问localhost:9600即可查看是否启动成功。
    查看logstash是否启动成功

kibana

  1. 解压zip文件；
  2. 进入到bin目录下，这个目录下的kibana.bat就是我们需要执行的脚本文件，可以直接双击运行；也可以通过cmd命令运行；
  3. kibana默认端口是5601，启动后访问localhost:5601即可查看是否启动成功。
    查看kibana是否启动成功

filebeat

  1. 解压zip文件；
  2. filebeat.yml文件即是配置文件，修改此文件：
filebeat.inputs:
- type: log
  enabled: true  # 是否开启日志收集 如果为false则不收集
  paths:  # 需要监控的文件路径 可配置多个
    - D:\elk\logs\warn\*.log
    - D:\elk\logs\info\*.log
    - D:\elk\logs\error\*.log
    - D:\elk\logs\*.log
  multiline:  # 对收集到的日志格式进行调整
        pattern: '^\d{4}-\d{1,2}-\d{1,2}'
        negate: true
        match: after
  tail_files: true  # filebeat默认读取log文件会一次性从头读取所有数据，当读取文件持续更新时，每次从头读取会重复读取以前的历史数据。tail_files配置项只保证第一次读取时从文件末尾开始，不读首行内容
  
output.logstash:  
  hosts: ["localhost:4560"]  # logstash中配置的端口
  1. 保存并退出；
  2. 通过命令启动filebeat
.\filebeat -e -c filebeat.yml

搭建SpringBoot项目

  1. 引入相关依赖
    <parent>
        <groupId>org.springframework.boot</groupId>
        <artifactId>spring-boot-starter-parent</artifactId>
        <version>2.3.3.RELEASE</version>
    </parent>

    <dependencies>
        <dependency>
            <groupId>org.projectlombok</groupId>
            <artifactId>lombok</artifactId>
            <optional>true</optional>
        </dependency>
        <dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-starter-web</artifactId>
        </dependency>
        <!-- logback -->
        <dependency>
            <groupId>net.logstash.logback</groupId>
            <artifactId>logstash-logback-encoder</artifactId>
            <version>6.3</version>
        </dependency>
        <dependency>
            <groupId>ch.qos.logback</groupId>
            <artifactId>logback-classic</artifactId>
            <version>1.2.3</version>
        </dependency>
        <dependency>
            <groupId>ch.qos.logback</groupId>
            <artifactId>logback-core</artifactId>
            <version>1.2.3</version>
        </dependency>
        <dependency>
            <groupId>com.alibaba</groupId>
            <artifactId>fastjson</artifactId>
            <version>1.2.35</version>
        </dependency>
    </dependencies>
  1. 配置logback.xml文件
<configuration>
    <timestamp key="bySecond" datePattern="yyyy-MM-dd'T'HH:mm:ss"/>
    <!-- 日志目录 -->
    <property name="LOG_HOME" value="D:/elk/logs"/>

    <appender name="INFO_FILE" class="ch.qos.logback.core.rolling.RollingFileAppender">
        <filter class="ch.qos.logback.classic.filter.LevelFilter">
            <!--
            返回DENY，日志将立即被抛弃不再经过其他过滤器；
            返回NEUTRAL，有序列表里的下个过滤器接着处理日志；
            返回ACCEPT，日志会被立即处理，不再经过剩余过滤器
             -->
            <level>INFO</level>
            <onMatch>NEUTRAL</onMatch>
            <onMismatch>DENY</onMismatch>
        </filter>
        <!-- 按照每天生成日志文件 -->
        <rollingPolicy class="ch.qos.logback.core.rolling.TimeBasedRollingPolicy">
            <!-- 日志文件输出名 -->
            <fileNamePattern>${LOG_HOME}/info/%d{yyyy-MM-dd}.log</fileNamePattern>
            <!-- 日志保留天数 -->
            <MaxHistory>7</MaxHistory>
            <totalSizeCap>10GB</totalSizeCap>
        </rollingPolicy>
        <encoder>
            <pattern>[%d][%-5level][%thread][%logger][%X{TRACE_ID}][%msg]%n</pattern>
        </encoder>
    </appender>

    <appender name="WARN_FILE" class="ch.qos.logback.core.rolling.RollingFileAppender">
        <filter class="ch.qos.logback.classic.filter.LevelFilter">
            <!--
            返回DENY，日志将立即被抛弃不再经过其他过滤器；
            返回NEUTRAL，有序列表里的下个过滤器接着处理日志；
            返回ACCEPT，日志会被立即处理，不再经过剩余过滤器
             -->
            <level>WARN</level>
            <onMatch>NEUTRAL</onMatch>
            <onMismatch>DENY</onMismatch>
        </filter>
        <!-- 按照每天生成日志文件 -->
        <rollingPolicy class="ch.qos.logback.core.rolling.TimeBasedRollingPolicy">
            <!-- 日志文件输出名 -->
            <fileNamePattern>${LOG_HOME}/warn/%d{yyyy-MM-dd}.log</fileNamePattern>
            <!-- 日志保留天数 -->
            <MaxHistory>7</MaxHistory>
            <totalSizeCap>10GB</totalSizeCap>
        </rollingPolicy>
        <encoder>
            <pattern>[%d][%-5level][%thread][%logger][%X{TRACE_ID}][%msg]%n</pattern>
        </encoder>
    </appender>

    <appender name="ERROR_FILE" class="ch.qos.logback.core.rolling.RollingFileAppender">
        <filter class="ch.qos.logback.classic.filter.LevelFilter">
            <!--
            返回DENY，日志将立即被抛弃不再经过其他过滤器；
            返回NEUTRAL，有序列表里的下个过滤器接着处理日志；
            返回ACCEPT，日志会被立即处理，不再经过剩余过滤器
             -->
            <level>ERROR</level>
            <onMatch>NEUTRAL</onMatch>
            <onMismatch>DENY</onMismatch>
        </filter>
        <!-- 按照每天生成日志文件 -->
        <rollingPolicy class="ch.qos.logback.core.rolling.TimeBasedRollingPolicy">
            <!-- 日志文件输出名 -->
            <fileNamePattern>${LOG_HOME}/error/%d{yyyy-MM-dd}.log</fileNamePattern>
            <!-- 日志保留天数 -->
            <MaxHistory>7</MaxHistory>
            <totalSizeCap>10GB</totalSizeCap>
        </rollingPolicy>
        <encoder>
            <pattern>[%d][%-5level][%thread][%logger][%X{TRACE_ID}][%msg]%n</pattern>
        </encoder>
    </appender>

    <appender name="STDOUT" class="ch.qos.logback.core.ConsoleAppender">
        <encoder>
            <pattern>[%d][%-5level][%thread][%logger][%X{TRACE_ID}][%msg]%n</pattern>
        </encoder>
    </appender>

	<!-- 仅针对这个Controller收集日志 -->
    <logger name="org.example.controller.ElkController">
        <appender-ref ref="INFO_FILE"/>
        <appender-ref ref="WARN_FILE"/>
        <appender-ref ref="ERROR_FILE"/>
    </logger>

    <root level="INFO">
        <appender-ref ref="STDOUT"/>
    </root>

</configuration>
  1. 将logback.xml配置到application.yml文件中
logging:
  config: classpath:logback.xml
  1. 创建ElkController
@RestController
@Slf4j
@RequestMapping("/elk")
public class ElkController {

    private final static Logger logger = LoggerFactory.getLogger(ElkController.class);
    private final String LoggerTemplate = "code:{},msg:{},param:{}";

    @GetMapping("/logs")
    public R testLogs(){
        logger.warn("这是一条warn测试");  // 这条记录会在warn文件夹下
        logger.info("这是一条info测试");  // 这条记录会在info文件夹下
        try {
            int i = 5 / 0;
        }catch (Exception e){
            logger.error(LoggerTemplate,200,"这是一条error测试",e);  // 这条记录会在error文件夹下
        }
        return R.ok("200","操作成功");
    }
}
  1. 运行该项目，并通过postman发请求后，在日志存放的路径下就可以看见收集到的日志：
    创建的日志文件
  2. 进入到kibana中配置数据视图
    点击Stack Management
    在这里插入图片描述
    在这里插入图片描述
    然后保存
  3. 到discover中查看收集到的日志
    在这里插入图片描述
    在这里插入图片描述
狍狍子
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
简单ELK配置实现生产级别的日志采集和查询实践
www_xuhss_com的博客
06-28 526
ES为了处理大型数据集，实现容错和高可用性，ES可运行多服务器组成分布式环境下也称为集群；集群内的节点的cluster.name相同，形成集群的每个服务器称为节点。ES 为分配不同的任务，定义了以下几个节点角色：Master,Data Node,Coordinating Node,Ingest Node：主节点（Master Node）：主要职责是负责集群层面的相关操作，管理集群变更，如创建或删除索引，跟踪哪些节点是群集的一部分，并决定哪些分片分配给相关的节点。 数据节点（Data Node）：主要是存
ElasticSearch设置日志保存时间-自动删除
yiyiatgis的专栏
11-17 9922
ElasticSearch提供索引生命周期管理（6.6版本开始），参考地址： https://www.elastic.co/guide/en/elasticsearch/reference/6.6/_setting_up_a_new_policy.html 以auditbeat审计日志的管理为例来介绍elasticsearch的生命周期管理策略： ElasticSearch索引生命周期管理 实际场景中我们一般为索引创建一个模板，以auditbeat-7.9.2为例： GET _template/a
ELK( ElasticSearch、Logstash和Kiabana)
07-20
通常，日志被分散的储存不同的设备上。如果你管理数十上百台服务器，你还在使用依次登录每台机器的传统方法查阅日志。这样是不是感觉很繁琐和效率低下。开源实时日志分析ELK平台能够完美的解决日志收集和日志检索、分析的问题，ELK就是指ElasticSearch、Logstash和Kiabana三个开源工具。 因为ELK是可以跨平台部署，因此非常适用于多平台部署的应用。 二 环境准备 1. 安装JDK1.8环境 2. 下载ELK软件包 logstash: https://artifacts.elastic.co/downloads/logstash/logstash-5.5.0.zip elasticsearch：https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-5.5.0.zip kibana: https://artifacts.elastic.co/downloads/kibana/kibana-5.5.0-windows-x86.zip 分别解压下载的软件，elasticsearch，logstash，kibana 可以放在一个统一文件夹下 三 部署 1.配置logstash 在logstash文件夹的下bin目录创建配置文件logstash.conf ,内容如下： input { # 以文件作为来源 file { # 日志文件路径 path => "F:\test\dp.log" } } filter { #定义数据的格式，正则解析日志（根据实际需要对日志日志过滤、收集） grok { match => { "message" => "%{IPV4:clientIP}|%{GREEDYDATA:request}|%{NUMBER:duration}"} } #根据需要对数据的类型转换 mutate { convert => { "duration" => "integer" }} } # 定义输出 output { elasticsearch { hosts => ["localhost:9200"] #Elasticsearch 默认端口 } }　　 在bin目录下创建run.bat，写入一下脚本： logstash.bat -f logstash.conf 执行run.bat启动logstash。 2. 配置Elasticsearch elasticsearch.bat即可启动。 启动后浏览器访问 127.0.0.1:9200 ，出现以下的json表示成功。 3.配置kibana Kibana启动时从文件kibana.yml读取属性。默认设置配置Kibana运行localhost:5601。要更改主机或端口号，或者连接到在其他机器上运行的Elasticsearch，需要更新kibana.yml文件。 kibana.bat启动Kibana。
Go语言教程第十四集 日志和日志管理系统ELK的搭建
fegus的博客
06-06 1739
无论是软件开发的调试阶段还是软件上线之后的运行阶段，日志一直都是非常重要的一个环节，我们也应该养成在程序中记录日志的好习惯。Go语言内置的包实现了简单的日志服务。本文介绍了标准库的基本使用。log包定义了Logger类型，该类型提供了一些格式化输出的方法。本包也提供了一个预定义的“标准”logger，可以通过调用函数(Print|Printf|Println）、（Fatal|Fatalf|Fatalln）、和（Panic|Panicf|Panicln）来使用，比自行创建一个logger对象更容易使用。例如，
K8s 搭建 FileBeat+ELK 分布式日志收集系统 以及 KQL 语法介绍
最新发布
小毕超博客
05-18 1109
Filebeat 是一个轻量级的日志传输工具，它负责收集日志数据并将其传输到Elasticsearch进行索引和存储。ELK是Elasticsearch、Logstash和Kibana三个开源项目的首字母缩写，它们共同构成了一个强大的日志管理和分析平台。
elasticsearch定期删除策略 - 日志分析系统ELK搭建
bsegebr的博客
08-16 1602
max file descriptors，root用户下修改配置文件vim /etc/security/limits.conf，将soft nofile和hard nofile的值全部改为65536，保存推出，重新登录。ES进程死亡，如果是logstash indexer写入的机器ES进程死亡，会导致数据无法存入ES，但不清楚redis中的数据能否被正常消耗。集群配置完毕后，集群间的数据是共享的。可以在同一台机器上的不同节点配置集群，也可以在不同机器上配置集群，测试中采用的是后一种方式。...
windows下安装ELK(踩坑记录)
卓越之识论道，平常之识论事，狭隘之识论人
08-15 1298
windows下载安装ELK
ELK+FileBeat+Kafka分布式系统搭建图文教程.docx
06-06
ELK+FileBeat+Kafka分布式系统搭建图文教程 本教程详细记录了ELK+FileBeat+Kafka分布式系统的搭建流程和步骤，为大家快速上手提供了详细的指导。本系统由FileBeat、Kafka、Logstash、Elasticsearch、Kibana五个组件...
Centos7搭建ELK+filebeat.docx
08-24
【Centos7搭建ELK+filebeat】 ELK（Elasticsearch、Logstash、Kibana）是一个流行的...通过以上步骤，你可以成功在CentOS7上搭建ELK+filebeat系统，解决开发团队查看线上日志的权限问题，实现日志的高效管理和分析。
ELK+Filebeat+Kafka+ZooKeeper构建日志分析平台
01-23
ELK+Filebeat+Kafka+ZooKeeper构建日志分析平台，架构图解
ELK+filebeat
12-18
在"ELK+filebeat"中，Elasticsearch负责接收和索引来自Logstash或Filebeat的日志数据，提供高效的数据检索和聚合功能。 2. **Logstash**：Logstash是一个开源的数据收集引擎，它能够从各种来源获取数据，进行过滤、...
Centos7 docker-compose安装ELK+Filebeat.zip
10-16
在IT行业中，ELK（Elasticsearch、Logstash、Kibana）栈是广泛...通过这个教程，你将能够在CentOS 7上搭建一个功能齐全的ELK+Filebeat日志管理平台，利用docker-compose简化部署流程，高效处理和分析服务器的日志数据。
elasticsearch 实现只保留固定时间的数据
热门推荐
夏冬丶王阳旭
01-02 1万+
    elk为常见的日志分析平台，在很多公司都用使用，但是日志数据是一个不断海量增加的东西，如果没有太大的存储来存储这些日志历史数据，就会需要删除时间过长的历史数据，以保证数据量可控。还不知道elk的，可以参考我另外的elk安装博文： 《Centos7.2 搭建ELK-5.6.4日志分析平台（一）》 《Centos7.2 搭建ELK-5.6.4日志分析平台（二）》 《centos7 Sup...
elastic设置日志保存时间_es日志配置，只保存最近3天的日志
weixin_39611863的博客
12-22 2500
Elasticsearch使用Log4j 2进行日志记录。可以使用log4j2.properties文件配置Log4j2。Elasticsearch公开三个属性${sys:es.logs.base_path}，${sys:es.logs.cluster_name}${sys:es.logs.node_name}可以在配置文件中被引用，以确定日志文件的位置。该属性${sys:es.logs.base...
ELK分布式日志系统的搭建以及使用
qq_40184563的博客
02-23 722
ELK的组成 ELK是elasticsearch、logstash、kibana三个开源框架的首字母简写，logstash负责采集日志文件并写入elasticsearch集群，kibana是从elasticsearch集群快速查询日志的客户端； 下载准备 下载elasticsearch,https://www.elastic.co/cn/downloads/elasticsearch; 下载no...
Windows环境下搭建完整的ELK平台
m0_52403371的博客
04-01 3713
Windows环境搭建ELK平台
ELK安装与使用--window
qq_41966346的博客
07-07 1296
ELK在window环境安装
elkb(elk+filebeat)在window下的安装和配置
Mr____zhao的博客
08-26 432
Elasticsearch（理解为数据库，存储日志信息）分布式搜索和分析引擎。具有高可伸缩、高可靠和易管理等特点。基于 Apache Lucene 构建，能对大容量的数据进行接近实时的存储、搜索和分析操作。Logstash（接受日志存储到Elasticsearch）日志收集器。搜集各种数据源，并对数据进行过滤、分析、格式化等操作，然后存储到 Elasticsearch。Kibana（可视化页面，用于查询）数据分析和可视化平台。...
ELK-日志服务【kafka-配置使用】
L596462013的博客
07-14 3354
kafka-0110.0.0.21kafka-0210.0.0.22kafka-0310.0.0.23 【2】安装kafka集群
docker elk + filebeat
08-27
综上所述，Docker ELK中的Filebeat是用于收集和传输日志数据的组件，在搭建平台时需要执行相应的启动命令，并可以通过创建配置文件来进行必要的配置。<span class="em">1</span><span class="em">2</span><span ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值