ELK:Elasticsearch、Logstash、Kibana Spring Cloud Sleuth和Spring Cloud Zipkin

于 2024-10-11 22:05:16 发布
阅读量456 收藏 4
点赞数 15
文章标签： elasticsearch 大数据 搜索引擎
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_45939821/article/details/142861899
版权

 〇、虚拟机中docker安装elasticsearch 、Kibana、Logstash 

        elasticsearch导入中文分词器

        Logstash修改es数据库ip及创建索引名配置

一、elasticsearch数据库的结构

        和mysql作比较，mysql中的数据库的二维表相当于es数据库的index索引结构；mysql数据库的二维表中每一条数据相当于es数据库中的document文档数据。

        每个索引有主分片和副分片，主分片和副分片数据保持一致，类似主从关系。

        index索引有不同于二维表的mappings数据结构:

        document文档数据存放在hits中的hits中

二、使用Kibana图形化界面命令操作es数据库

      1）查看索引、创建索引及mappings结构、创建文档数据

1）查询所有索引

2）查看指定索引goods

3）创建索引并更改mapping结构 

4）创建索引文档

5）其他命令

      2）对文档数据的crud操作

      3）检索操作

三、使用java代码连接操作es数据库

        0）导入依赖坐标

  <parent>
        <groupId>org.springframework.boot</groupId>
        <artifactId>spring-boot-starter-parent</artifactId>
        <version>2.3.12.RELEASE</version>
    </parent>

    <dependencies>
        <dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-starter-data-elasticsearch</artifactId>
        </dependency>
        <dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-starter-test</artifactId>
            <scope>test</scope>
        </dependency>
        <dependency>
            <groupId>com.fasterxml.jackson.core</groupId>
            <artifactId>jackson-databind</artifactId>
        </dependency>
        <dependency>
            <groupId>org.projectlombok</groupId>
            <artifactId>lombok</artifactId>
        </dependency>
    </dependencies>

        1）创建实体类、并添加注解

                @Field：

                        添加该注解类似于redis的json数据和实体类对象的属性映射时添加的注解，name用来指定映射到es数据库中的字段名称，type用来指定映射到es数据库中的类型，analyzer用来指定分词器，es数据库没有中文分词器，需要自行下载。

                @Document：

                        indexName指定创建index索引时的索引名

   

  2）添加相关配置文件

                别忘记编写启动类

   3） 在测试类中调用es数据库连接对象elasticsearchRestTemplate     

        ①创建索引

        ②增

        ③改

        ④删

        ⑤全字段内容检索

        ⑥全部搜索

        ⑦匹配搜索

        ⑧短语搜索

        ⑨范围搜索

        ⑩多条件搜索

       ⑩①搜索高亮

四、使用Logstash收集日志数据到es数据库中

        0）依赖坐标

<parent>
    <groupId>org.springframework.boot</groupId>
    <artifactId>spring-boot-starter-parent</artifactId>
    <version>2.3.12.RELEASE</version>
</parent>

<dependencies>
    <dependency>
        <groupId>org.springframework.boot</groupId>
        <artifactId>spring-boot-starter-web</artifactId>
    </dependency>
    <dependency>
        <groupId>net.logstash.logback</groupId>
        <artifactId>logstash-logback-encoder</artifactId>
        <version>6.3</version>
    </dependency>
    <dependency>
        <groupId>org.projectlombok</groupId>
        <artifactId>lombok</artifactId>
    </dependency>
</dependencies>

        1）编写logback.xml文件

<?xml version="1.0" encoding="UTF-8"?>

<!--该日志将日志级别不同的log信息保存到不同的文件中 -->

<configuration>

    <include resource="org/springframework/boot/logging/logback/defaults.xml" />

    <springProperty scope="context" name="springAppName"

                    source="spring.application.name" />

    <!-- 日志在工程中的输出位置 -->

    <property name="LOG_FILE" value="${BUILD_FOLDER:-build}/${springAppName}" />

    <!-- 控制台的日志输出样式 -->

    <property name="CONSOLE_LOG_PATTERN"

              value="%clr(%d{yyyy-MM-dd HH:mm:ss.SSS}){faint} %clr(${LOG_LEVEL_PATTERN:-%5p}) %clr(${PID:- }){magenta} %clr(---){faint} %clr([%15.15t]){faint} %m%n${LOG_EXCEPTION_CONVERSION_WORD:-%wEx}}" />

    <!-- 控制台输出 -->

    <appender name="console" class="ch.qos.logback.core.ConsoleAppender">

        <filter class="ch.qos.logback.classic.filter.ThresholdFilter">

            <level>INFO</level>

        </filter>

        <!-- 日志输出编码 -->

        <encoder>

            <pattern>${CONSOLE_LOG_PATTERN}</pattern>

            <charset>utf8</charset>

        </encoder>

    </appender>

    <!-- logstash远程日志配置-->

    <appender name="logstash" class="net.logstash.logback.appender.LogstashTcpSocketAppender">

        <destination>192.168.8.128:4560</destination>

        <encoder charset="UTF-8" class="net.logstash.logback.encoder.LogstashEncoder" />

    </appender>

    <!-- 日志输出级别 -->

    <root level="DEBUG">

        <appender-ref ref="console" />

        <appender-ref ref="logstash" />

    </root>

</configuration>

        2）添加日志注解

         3)kibana查看日志索引文档信息

                        ①）命令查看

                        ②）图形化界面

五、Spring Cloud Sleuth

                Sleuth是在logback的基础上进行请求追踪和日志记录，会标记请求添加一个id。

        0）依赖坐标

<!-- sleuth启动器依赖 -->
<dependency>
    <groupId>org.springframework.cloud</groupId>
    <artifactId>spring-cloud-starter-sleuth</artifactId>
</dependency>
<!-- logstash相关依赖，用于应用中的Sleuth将采集的跟踪数据发送给logstash使用 -->
<dependency>
    <groupId>net.logstash.logback</groupId>
    <artifactId>logstash-logback-encoder</artifactId>
    <version>5.0</version>
</dependency>

        1）修改logback.xml配置文件<encoder>标签

<?xml version="1.0" encoding="UTF-8"?>
<!--该日志将日志级别不同的log信息保存到不同的文件中 -->
<configuration>
    <include resource="org/springframework/boot/logging/logback/defaults.xml" />

    <springProperty scope="context" name="springAppName"
                    source="spring.application.name" />

    <!-- 日志在工程中的输出位置 -->
    <property name="LOG_FILE" value="${BUILD_FOLDER:-build}/${springAppName}" />

    <!-- 控制台的日志输出样式 -->
    <property name="CONSOLE_LOG_PATTERN"
              value="%clr(%d{yyyy-MM-dd HH:mm:ss.SSS}){faint} %clr(${LOG_LEVEL_PATTERN:-%5p}) %clr(${PID:- }){magenta} %clr(---){faint} %clr([%15.15t]){faint} %m%n${LOG_EXCEPTION_CONVERSION_WORD:-%wEx}}" />

    <!-- 控制台输出 -->
    <appender name="console" class="ch.qos.logback.core.ConsoleAppender">
        <filter class="ch.qos.logback.classic.filter.ThresholdFilter">
            <level>INFO</level>
        </filter>
        <!-- 日志输出编码 -->
        <encoder>
            <pattern>${CONSOLE_LOG_PATTERN}</pattern>
            <charset>utf8</charset>
        </encoder>
    </appender>
    <!-- logstash远程日志配置-->
    <appender name="logstash" class="net.logstash.logback.appender.LogstashTcpSocketAppender">
        <destination>192.168.222.128:4560</destination>
        <encoder
                class="net.logstash.logback.encoder.LoggingEventCompositeJsonEncoder">
            <providers>
                <timestamp>
                    <timeZone>UTC</timeZone>
                </timestamp>
                <pattern>
                    <pattern>
                        {
                        "severity": "%level",
                        "service": "${springAppName:-}",
                        "trace": "%X{X-B3-TraceId:-}",
                        "span": "%X{X-B3-SpanId:-}",
                        "exportable": "%X{X-Span-Export:-}",
                        "pid": "${PID:-}",
                        "thread": "%thread",
                        "class": "%logger{40}",
                        "rest": "%message"
                        }
                    </pattern>
                </pattern>
            </providers>
        </encoder>
    </appender>
    <!-- 日志输出级别 -->
    <root level="DEBUG">
        <appender-ref ref="console" />
        <appender-ref ref="logstash" />
    </root>
</configuration>

六、Spring Cloud Zipkin

                Zipkin和Sleuth集成，提供请求追踪，响应时间的可视化界面

                -1)创建docker容器运行Zipkin服务器

                0)依赖坐标

<dependency>
    <groupId>org.springframework.cloud</groupId>
    <artifactId>spring-cloud-starter-zipkin</artifactId>
</dependency>

               1）删除logback.xml

               2)访问http://192.168.222.128:9411/zipkin：

别挡
关注
JavaEE：SpringCloud-Sleuth+Zipkin+ELK使用
a526001650a的专栏
02-15 1338
说明： Sleuth用于服务调用链追踪，在log里埋点； Zipkin是一套分布式实时数据追踪系统，可以将Sleuth数据以大盘监控显示出来。 ELK（Elasticsearch + Logstash + Kibana）：根据Trace ID搜索所有上下游Log。 一、搭建Zipkin服务端： 地址：http://localhost:9411/ 1.方式1(推荐)，下载官方包zipkin-server-2.12.9-exec.jar，执行命令启动： D:\javaee_workspace\Spr
【spring cloud】 sleuth、zipkin、rabbitmq、elasticsearch、logstash、kibana实现分布式微服务链路追踪，日志分析
qq_39540680的博客
07-15 1962
spring cloud微服务链路追踪、日志收集 依赖版本 spring boot <2.1.3.RELEASE> spring cloud <Greenwich.SR1> rabbitmq < 3.7.10> elasticsearch <6.7.0>下载地址 logstash <6.7.0>下载地址 kibana <6.7....
Spring Cloud 系列文章之十八：Spring Cloud Sleuth 和 Zipkin 在分布式追踪中的应用
阿里渣渣java研发组-群主
06-08 459
Spring Cloud Sleuth 是 Spring 提供的分布式追踪解决方案。它通过在微服务之间传递追踪信息，实现对请求的全链路追踪。Sleuth 自动为每个请求生成唯一的追踪 ID，并在调用链中传播这些信息，使得开发者可以轻松地追踪每个请求的路径。Zipkin 是 Twitter 开源的一个分布式追踪系统，用于收集和查询追踪数据。它与 Sleuth 无缝集成，提供了可视化界面，帮助开发者分析和优化微服务调用链。修改采样率默认情况下，Sleuth 会对部分请求进行采样。
Spring Cloud 系列文章之十四：Spring Cloud Sleuth 和 Zipkin 在分布式追踪中的应用
阿里渣渣java研发组-群主
06-08 922
Spring Cloud Sleuth 是 Spring 提供的分布式追踪解决方案。它通过在微服务之间传递追踪信息，实现对请求的全链路追踪。Sleuth 自动为每个请求生成唯一的追踪 ID，并在调用链中传播这些信息，使得开发者可以轻松地追踪每个请求的路径。Zipkin 是 Twitter 开源的一个分布式追踪系统，用于收集和查询追踪数据。它与 Sleuth 无缝集成，提供了可视化界面，帮助开发者分析和优化微服务调用链。修改采样率默认情况下，Sleuth 会对部分请求进行采样。
Spring Cloud系列教程(十五)：服务追踪SpringCloud Sleuth集成Zipkin持久化到Elasticsearch(Finchley版本)
Thinkingcao的专栏
03-18 848
## 一、前言 在上一篇文章中[Spring Cloud系列教程(十四)：服务追踪SpringCloud Sleuth集成Zipkin持久化数据存储Mysql(Finchley版本)](https://thinkingcao.blog.csdn.net/article/details/104957540)，实现了将服务追踪采集的数据持久化到`MySQL`数据库中，而且大家都知道`zipkin`默认是存内存的，这样到了生产环境不可行，这节将实现`zipkin`将数据持久化到`Elasticsearch`，项目
SpringCloud从入门到放弃之链路追踪二(Sleuth+Zipkin+Kafka+Logstash)
qq_33479841的博客
04-19 3152
1.概述 2.链路数据存储 2.1 Kafka
使用 Spring Cloud Sleuth、Elastic Stack 和 Zipkin 做微服务监控
无怨无悔专栏
11-30 498
关于迁移微服务架构，最常被提及的挑战莫过于监控。每个微服务应独立于其他服务的运行环境，所以他们之间不会共享如数据源、日志文件等资源。 然而，较容易的查看服务的调用历史，并且能够查看多个微服务的请求传播是微服务架构的重要需求。获取服务日志不是此问题的正确解决之道，所以这里我要分享一些很有帮助的第三方工具，以方便在创建微服务的时候应用，如Sping Boot和Spring Cloud。 其它翻译版...
Spring Cloud链路追踪Sleuth+Zipkin.跟学笔记
心向阳光的天域的博客
04-04 478
链路追踪Sleuth+Zipkin的快速上手
springcloud3 sleuth+zipkin实现链路状态监控
健康平安的活着的专栏
08-11 693
在微服务框架中，一个由客户端发起的请求在后端系统中会经过多个不同的服务节点调用来协同产生最后的请求结果，每一个阶段请求都会形成一条复杂的分布式调用链路，链路中任何一环出现高延时或者错误都会引起整个请求的最后失败。
编程不良人的SpringCloud笔记和资料，全套
06-21
Sleuth是一个分布式追踪解决方案，它为服务之间的调用提供日志跟踪，可与Zipkin或ELK（Elasticsearch、Logstash、Kibana）等工具配合，帮助分析请求在系统中的流转过程。 11. **Spring Cloud Stream消息驱动** ...
springcloud Sleuth+Zipkin+ELK：实时日志分析与监控
# 1. 引言 ## 1.1 背景与意义 在现代的互联网应用程序中，日志分析与监控是至...本文旨在介绍如何利用springcloud Sleuth Zipkin和ELK（Elasticsearch、Logstash、Kibana）技术栈实现实时日志分析与监控。通过集成Sle
Spring微服务实战第9章 使用Spring Cloud Sleuth和Zipkin进行分布式跟踪
天空鸟的博客
09-23 413
文章目录第9章　使用Spring Cloud Sleuth和Zipkin进行分布式跟踪9.1　Spring Cloud Sleuth与关联ID9.1.1　将Spring Cloud Sleuth添加到许可证服务和组织服务中9.1.2　剖析Spring Cloud Sleuth跟踪9.2　日志聚合与Spring Cloud Sleuth9.2.1　Spring Cloud Sleuth与Papertrail集成实战9.2.2　创建Papertrail账户并配置syslog连接器9.2.3　将Docker输出重
SpringCloud学习之七：使用Spring Cloud Sleuth实现微服务跟踪
禁忌夜色153的博客
07-13 372
使用Spring Cloud Sleuth实现微服务跟踪 Spring Cloud版本：Hoxton.SR5 1. 简介 Spring Cloud Sleuth为Spring Cloud提供了分布式跟踪的解决方案，它大量借用了Google Dapper、Twitter Zipkin和Apache HTrace的设计。 Sleuth借用了Dapper的术语： span（跨度）：基本工作单元。span用一个64位的id唯一标识。除ID外，span还包含了其他数据，例如描述、时间戳事件、键值对的注解（标签
netty之SpringBoot+Netty+Elasticsearch收集日志信息数据存储
CSDN_LiMingfly的博客
10-04 851
将大量的业务以及用户行为数据存储起来用于分析处理，但是由于数据量较大且需要具备可分析功能所以将数据存储到文件系统更为合理。尤其是一些互联网高并发级应用，往往数据库都采用分库分表设计，那么将这些分散的数据通过binlog汇总到一个统一的文件系统就显得非常有必要。#开发环境环境准备windows安装包 下载注意 es是以来java环境 所以需要安装jdk 支持1.7以上es-hander下载可视化操作插件@Id//姓名//年龄//级别//时间//电话//邮箱//地址。
Java基础-Wrapper Classes(包装类)
weixin_62740713的博客
10-07 726
基本类型包装类描述intInteger整数类型longLong长整数类型floatFloat单精度浮点数类型doubleDouble双精度浮点数类型booleanBoolean布尔类型charCharacter字符类型byteByte字节类型shortShort短整数类型。
Elasticsearch 实战应用
萧鼎的博客
10-06 1328
通过本文，你已经了解了 Elasticsearch 的基本概念、核心操作以及实际应用场景中的常见问题和解决方案。Elasticsearch 的强大之处不仅体现在它的搜索能力，还包括它在大数据分析、日志处理和实时搜索场景中的应用。随着数据量的爆炸性增长，掌握 Elasticsearch 将为你在数据处理和搜索领域提供重要的优势。继续之前的内容，进一步详细讲解 Elasticsearch 的高级功能和最佳实践。
【时间盒子】-【9.任务设置项】自定义任务名称、任务时长等设置项组件
最新发布
与辉鸿蒙
10-08 471
Stage、@Link装饰器的使用；参考我的帖子：https://developer.huawei.com/consumer/cn/forum/topic/0208152234389094513?一、预览。
Elasticsearch学习记录
qq_62714412的博客
10-04 1265
本文通过安装elasticsearch-7.17.0为基础，使用 kibana-7.17.0 对 elasticsearch 进行操作，本文中 es 是对 elasticsearch 的简写。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值