springcoud sleuth服务链路跟踪和elk日志平台的搭建以及结合使用(基础篇)

最新推荐文章于 2022-12-16 09:21:57 发布
最新推荐文章于 2022-12-16 09:21:57 发布
阅读量1.3k 收藏 6
点赞数
文章标签： java
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/suyanghuiha/article/details/104694186
版权

1.我遇到的痛点

1.微服务的服务器多，日志都分散在不同的服务器节点上，查找问题是否头疼。如何构建一个统一的日志查看平台在项目中后期显得非常必要。
2.如何通过一种直观的方式来展示日志，让开发和测试和运维都方便使用。
3.如何通过日志看一次交易调用服务的整个过程以及每个服务节点的调用时长，方便问题的查询和定位

2.解决方案的介绍

在这里插入图片描述

3.名称解释

filebeat：一款轻量级的日志传输工具，它有输入和输出两端，通常是从日志文件中读取数据，输出到 Logstash 或 Elasticsearch 。其作用是收集业务服务器的日志，输出到一个日志系统便于集中管理。

logstash：是一个对文件日志或者syslog日志以及其他各种类型的输入数据流进行解码，过滤，转换并转换为其他类型的数据流的软件，最常见的用法是将系统日志分析，结构化处理后倒入到ElasticSearch中。当然logstash也可以独立的完成很多日志/事件处理的工作，并不是必须要和ElasticSearch配合使用，可以和redis和kafka一起使用。

ElasticSearch：是一个基于全文检索引擎lucene实现的一个面向文档的schema free（模式自由）的数据库。所有对数据库的配置、监控及操作都通过Restful接口完成。数据格式为json。默认支持节点自动发现，数据自动复制，自动分布扩展，自动负载均衡。适合处理最大千万级别的数据的检索。处理效率非常高。可以理解为elasticSearch是一个在lucene基础上增加了restful接口及分布式技术的整合。

kinbana : Kibana是一个通过Restful接口对ElasticSearch数据库进行检索，通过HTML5形式以柱状图，饼图，线图，地理位置分布图以及表格等形式展示数据的软件。

Sleuth: Spring-Cloud-Sleuth是Spring Cloud的组成部分之一，为SpringCloud应用实现了一种分布式追踪解决方案，其兼容了Zipkin, HTrace和log-based追踪。

zipkin：分布式跟踪系统；我们可以使用它来收集各个服务器上请求链路的跟踪数据，并通过它提供的 REST API 接口来辅助查询跟踪数据以实现对分布式系统的监控程序，从而及时发现系统中出现的延迟过高问题。除了面向开发的 API 接口之外，它还提供了方便的 UI 组件来帮助我们直观地搜索跟踪信息和分析请求链路明细，比如可以查询某段时间内各用户请求的处理时间等。Zipkin 和 Config 结构类似，分为服务端 Server，客户端 Client，客户端就是各个微服务应用。

4.安装

安装讲解是Linux版本的手动安装，docker安装没研究。window下我试了一下不太稳定。

4.1安装前准备工作

1.关键jar
elasticsearch-6.8.6.tar.gz
logstash-6.8.6.tar.gz
kibana-6.8.6-linux-x86_64.tar.gz
下载地址
https://www.elastic.co/cn/downloads/past-releases/elasticsearch-6-8-6
https://www.elastic.co/cn/downloads/past-releases/logstash-6-8-6
https://www.elastic.co/cn/downloads/past-releases/kibana-6-8-6
2.准备环境
jdk1.8 、centos 7

4.2安装ElasticSearch

1.通过xftp将jar上传服务器，然后解压jar包（elasticSearch和logstash都依赖jdk，所以要先安装jdk）

在这里插入图片描述
2.修改/elasticsearch-6.8.6/config/elasticsearch.yml 下的文件
在这里插入图片描述
在这里插入图片描述
3.启动服务
在这里插入图片描述
root用户是不能直接启动elasticsearch的，需要新建一个用户（elk）
在这里插入图片描述
然后用elk用户启动，服务仍然报错（每个进程最大同时打开文件数太小；虚拟内存太小）
在这里插入图片描述
修改/etc/security/limits.conf
在这里插入图片描述
修改/etc/sysctl.conf
在这里插入图片描述
让系统重新载入sysctl.conf 文件（sysctl -p）
在这里插入图片描述
我用公司的服务器启动ok了，但是不能正常访问，上度娘上查一下，发现是防火墙的原因导致的，关闭之后就ok了（心里默默开心一分钟）
在这里插入图片描述
用elk用户在后台启动
在这里插入图片描述
启动成功
在这里插入图片描述

4.3安装logstash

1.解压jar包
在这里插入图片描述
2.在config下创建mylogstash.conf
在这里插入图片描述
3.修改mylogstash.conf (日志流的方式写入logstash)
在这里插入图片描述
mylogstash.conf (日志文件的方式写入logstash)
在这里插入图片描述
mylogstash.conf (beats轻量级采集组件（filebeat）方式写入logstash)
在这里插入图片描述
4.启动服务
在这里插入图片描述
5.启动成功（访问http://10.0.198.45:9600）
在这里插入图片描述
6.应用场景

1.以logstash为日志文件的收集器。这种结构因为需要在各个服务器上部署 Logstash，而它比较消耗 CPU 和内存资源，所以比较适合计算资源丰富的服务器，否则容易造成服务器性能下降，甚至可能导致无法正常工作。
在这里插入图片描述
2.以beats作为日志文件的收集器。这种架构解决了 Logstash 在各服务器节点上占用系统资源高的问题。相比 Logstash，Beats 所占系统的 CPU 和内存几乎可以忽略不计。另外，Beats 和 Logstash 之间支持 SSL/TLS 加密传输，客户端和服务器双向认证，保证了通信安全。因此这种架构适合对数据安全性要求较高，同时各服务器性能比较敏感的场景。
常见的beat有：
Packetbeat（搜集网络流量数据）；
Topbeat（搜集系统、进程和文件系统级别的 CPU 和内存使用情况等数据）；
Filebeat（搜集文件数据）-------最常用。
在这里插入图片描述

4.4安装kibana

1.解压jar包
在这里插入图片描述
2.修改/config/kibana.yml文件
在这里插入图片描述
3.启动服务
在这里插入图片描述
4.启动成功
在这里插入图片描述

5.微服务和elk的结合使用

以上elk服务搭建完成了，如何将springcloud生产的日志写入logstash中。

1.修改pom.xml,引入对应的maven jar包

net.logstash.logback
logstash-logback-encoder
5.3

2.修改logback.xml
在这里插入图片描述
启动服务
1.在kibana中可以查看es的索引文件
在这里插入图片描述
2.配置kibana可查询es索引文件（配置* 就是所有文件）
在这里插入图片描述
3.索引文件中的数据按时间排序
在这里插入图片描述
4.查询日志
在这里插入图片描述

6.sleuth和elk的结合使用

微服务存在着多服务的调用，如何将多个微服务的日志通过一个traceId将服务的日志穿到一起，做到服务日志和跟踪。我们采用了springcloud的另外一个组件spring-cloud-sleuth。

1.搭建zipkin-serer 服务（如果不需要实时查看服务的调用信息，这个可以不搭建的）
在这里插入图片描述
引入pom.xml引入jar
在这里插入图片描述
修改启动类
在这里插入图片描述
修改application.properties
在这里插入图片描述

2.微服务中引入sleuth

修改原微服务中的pom.xml文件
在这里插入图片描述
修改原微服务的application.properties文件
在这里插入图片描述

为什么要配置抽样收集呢？
理论上应该是收集的跟踪信息越多越好，可以更好的反映出系统的实际运行情况，但是在高并发的分布式系统运行时，大量请求调用会产生海量的跟踪日志信息，如果过多的收集，会对系统性能造成一定的影响，所以 Spring Cloud Sleuth 采用了抽样收集的方式。

启动程序，访问微服务进行服务链路跟踪。（http://localhost:9411/zipkin）
在这里插入图片描述

根据tranceid在kibana中查看数据
在这里插入图片描述
在这里插入图片描述

贫下中农-码农
关注
  • 0
    点赞
  • 踩
  • 6
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
浅谈Spring-cloud 之 sleuth 服务链路跟踪
08-28
本篇文章主要介绍了浅谈Spring-cloud 之 sleuth 服务链路跟踪，小编觉得挺不错的，现在分享给大家，也给大家做个参考。一起跟随小编过来看看吧
Spring Cloud 学习笔记九：搭建微服务工程之Sleuth 与 ELK（日志分析系统）配合使用
Stary 的 IT 之旅
03-17 343
目录 Sleuth 与 ELK（日志分析系统）配合使用 Sleuth 与 ELK（日志分析系统）配合使用 虽然实现了服务调用之间的链路追踪，但是这些日志是分散在各个机器上的，就算出现问题了，我们想快速定位，也得从各个机器把日志整合起来，再去查问题。 这个时候就需要引入日志分析系统了，比如 ELK，可以将多台服务器上的日志信息统一收集起来，在出问题的时候我们可以轻松根据 traceId 来搜索出对应的请求链路信息。 ELK 由三个组件组成： Elasticsearch 是个开源分布式搜索引擎，
Spring Cloud与Docker微服务架构实战 10.4 Spring Cloud Sleuth 与 ELK 配合使用
lvwenzhuye的专栏
08-07 351
10.4 Spring Cloud Sleuth 与 ELK 配合使用 logstash 配置文件内容 logstash-trace.yml input { file { codec => json path => "D:/code/opencode/spring-cloud-docker-microservice-book-code/trace/build/...
Spring Cloud Sleuth与ELK（日志分析系统）配合使用
unber的博客
12-16 468
​ 在《Spring Cloud使用Sleuth在应用中进行日志跟踪》教程中的案例，我们已经实现了服务调用之间的链路追踪，但是这些日志是分散在各个机器上的，就算出现问题了，我们想快速定位，也得从各个机器把日志整合起来，再去查问题。 ​
分布式追踪技术:Zipkin, Sleuth 和 ELK 处理微服务分布式追踪
daobuxinzi的博客
05-11 597
什么是分布式追踪 微服务的主要挑战之一是调试问题和监视问题的能力。一个简单的操作可以触发一系列的微服务调用，在被调用的微服务中跟踪这些操作是非常繁琐的。这是因为每个微服务都在与其他微服务隔离的环境中运行，因此它们不会共享数据库或日志文件等资源。除此之外，我们可能还需要跟踪为什么某个微服务调用在给定的业务流中花费了如此多的时间。 分布式跟踪模式解决了开发人员在构建微服务时面临的上述挑战。在使用Spring Boot和Spring Cloud框架创建微服务时，有一些有用的开源工具可用于分布式跟踪。 Spr
25.Spring Cloud Sleuth与ELK
盲目的拾荒者的博客
08-05 1733
1.ELK搭建 关于ELK环境搭建在之前的博客都已经提到了。 Elasticsearch安装Head插件 安装Logstash 安装Kibana 2.项目示例 2.1添加依赖 <!--elk依赖 --> <dependency> <groupId>net.logstash.logback</groupId> <art...
09Spring Cloud Sleuth：分布式请求链路跟踪1
08-04
09Spring Cloud Sleuth：分布式请求链路跟踪1
spring cloud sleuth 全链路追踪 demo
10-25
spring cloud sleuth 全链路追踪
spring cloud sleuth 全链路追踪数据表
10-25
spring cloud sleuth 全链路追踪数据表
SpringCloud链路追踪-Spring Cloud Sleuth 和 Zipkin 介绍 & Windows 下使用初步
最新发布
11-10
SpringCloud链路追踪-Spring Cloud Sleuth 和 Zipkin 介绍 & Windows 下使用初步
Spring Cloud 应用篇 之 Spring Cloud Sleuth + Zipkin（一）链路监控
永不止步
07-02 9382
在微服务系统中，随着业务的发展，系统会变得越来越大，那么各个服务之间的调用关系也就变得越来越复杂。一个 HTTP 请求会调用多个不同的微服务来处理返回最后的结果，在这个调用过程中，可能会因为某个服务出现网络延迟过高或发送错误导致请求失败，这个时候，对请求调用的监控就显得尤为重要了。Spring Cloud Sleuth 提供了分布式服务链路监控的解决方案。下面介绍 Spring Cloud Sle...
JavaEE：SpringCloud-Sleuth+Zipkin+ELK使用
a526001650a的专栏
02-15 1266
说明： Sleuth用于服务调用链追踪，在log里埋点； Zipkin是一套分布式实时数据追踪系统，可以将Sleuth数据以大盘监控显示出来。 ELK（Elasticsearch + Logstash + Kibana）：根据Trace ID搜索所有上下游Log。 一、搭建Zipkin服务端： 地址：http://localhost:9411/ 1.方式1(推荐)，下载官方包zipkin-server-2.12.9-exec.jar，执行命令启动： D:\javaee_workspace\Spr
Spring Cloud Sleuth (2)-与ELK集成
热门推荐
咖啡男孩之SRE之路
10-23 1万+
通过Spring Cloud Sleuth (1)-入门篇我们已经引入了Sleuth的基础模块完成一次任务链的跟踪，但是由于日志文件都离散的存储在各个微服务结点上，日常运维时仅仅通过查看日志文件来分析定位问题还是一件繁琐的问题。所以我们需要一些工具来收集、存储、分析和展示日志信息，例如ELK（ElasticSearch、Logstash、kibana）组件。
SpringCloud 分布式链路追踪、分布式日志系统
chy1984的博客
06-02 1800
目录概述Zipkin的使用搭建zipkin serverzipkin dependencies在服务中添加zipkin的相关配置SkyWalking的使用部署skywalking web部署服务应用日志中输出trace_id分布式日志系统ELKlogstash的安装部署kibana查看链路数据、日志   概述 OpenTracing 链路追踪，主要用于分析链路调用情况，方便针对耗时多的部分，使用多线程、异步、缓存等方式进行优化。   常见的APM (Application Perform
【Spring Cloud、Sleuth、Zipkin】搭建Spirng Cloud项目（九）：Spring Cloud使用Sleuth + Zipkin进行服务链路追踪
apple_csdn的博客
03-16 121
一、环境准备 1、环境搭建，查看Spring Cloud专栏 2、(前提)准备一个服务提供方（sys-server）的接口和服务调用方（security-oauth2-server）接口，本文是在文章【Spring Cloud、OpenFeign】搭建Spirng Cloud项目（七）：Spring Cloud使用OpenFeign调用其他服务中进行扩展。 二、介绍 参考文章：史上最简单的SpringCloud教程 | 第九篇: 服务链路追踪(Spring Cloud Sleuth) 三、代码 背景：本文提
Spring Cloud Sleuth+ZipKin+ELK服务链路追踪（七）
weixin_30894389的博客
08-16 832
序言 sleuth是spring cloud的分布式跟踪工具，主要记录链路调用数据，本身只支持内存存储，在业务量大的场景下，为拉提升系统性能也可通过http传输数据，也可换做rabbit或者kafka来传输数据。 zipkin是Twitter开源的分布时追踪系统，可接收数据，存储数据（内存/cassandra/mysql/es），检索数据，展示数据，他本神不会直接在分布式的系统服务种...
springcloud应用之zipkin+sleuth
LiuRenyou的博客
03-11 1432
文章目录springcloud应用之zipkin+sleuthzipkin+sleuth搭建zipkin-serversleuth整合zipkin springcloud应用之zipkin+sleuth zipkin+sleuth Sleuth spring Cloud Sleuth为 spring Cloud提供了分布式跟踪的解决方案，它大量借用了Google Dapper、 Twitter Z...
笔记11：Spring Cloud分布式链路追踪技术 Sleuth + Zipkin
Lossdate的博客
03-06 88
Sleuth 每⼀个需要被追踪踪迹的微服务⼯程都引⼊依赖坐标 1）pom <!--链路追踪--> <dependency> <groupId>org.springframework.cloud</groupId> <artifactId>spring-cloud-starter-sleuth</artifactId> </dependency> 2）ym #分布式链路追踪 logging: lev...
Spring Cloud（十七）Sleuth + Zipkin 分布式请求链路追踪
zzkeung的博客
08-13 1479
Table of Contents 1.介绍 2.Zipkin安装 3.Sleuth + Zipkin 链路分析 1.介绍 https://spring.io/projects/spring-cloud-sleuth 随着系统规模越来越大，微服务之间调用关系变得错综复杂，一条调用链路中可能调用多个微服务，任何一个微服务不可用都可能造整个调用过程失败。 Spring Cloud Sleuth为 Spring Cloud 实现了分布式跟踪解决方案，可以跟踪调用链路，分析链路中每个节点的执行情况。
Spring Cloud Sleuth(服务跟踪) springboot案例
06-01
好的，下面是一个使用Spring Cloud Sleuth进行服务跟踪的Spring Boot案例： 1. 添加依赖 在pom.xml文件中添加以下依赖： ```xml <dependency> <groupId>org.springframework.cloud</groupId> <artifactId>spring-cloud-starter-sleuth</artifactId> </dependency> <dependency> <groupId>org.springframework.cloud</groupId> <artifactId>spring-cloud-starter-zipkin</artifactId> </dependency> ``` 2. 添加配置 在application.yml文件中添加以下配置： ```yaml spring: application: name: sleuth-demo sleuth: sampler: probability: 1.0 zipkin: base-url: http://localhost:9411 ``` 其中，sleuth.sampler.probability配置为1.0表示采样率为100%。 3. 编写代码 编写一个Controller，调用其他服务： ```java @RestController public class MyController { private final RestTemplate restTemplate; public MyController(RestTemplate restTemplate) { this.restTemplate = restTemplate; } @GetMapping("/hello") public String hello() { String result = restTemplate.getForObject("http://localhost:8080/world", String.class); return "Hello " + result; } } ``` 4. 启动服务 启动服务后，访问http://localhost:8080/hello，可以看到控制台输出类似于以下日志： ``` 2021-05-28 11:08:26.306 INFO [sleuth-demo,9c3a3f80e0516d7f,9c3a3f80e0516d7f,false] 14292 --- [nio-8080-exec-1] c.e.sleuthdemo.controller.MyController : hello 2021-05-28 11:08:26.311 INFO [sleuth-demo,9c3a3f80e0516d7f,9c3a3f80e0516d7f,false] 14292 --- [nio-8080-exec-1] o.apache.http.client.HttpClient : http://localhost:8080/world HTTP/1.1 2021-05-28 11:08:26.311 INFO [sleuth-demo,9c3a3f80e0516d7f,9c3a3f80e0516d7f,false] 14292 --- [nio-8080-exec-1] o.apache.http.client.HttpClient : Content-Length: 0 2021-05-28 11:08:26.311 INFO [sleuth-demo,9c3a3f80e0516d7f,9c3a3f80e0516d7f,false] 14292 --- [nio-8080-exec-1] o.apache.http.client.HttpClient : Host: localhost:8080 2021-05-28 11:08:26.316 INFO [sleuth-demo,9c3a3f80e0516d7f,9c3a3f80e0516d7f,false] 14292 --- [nio-8080-exec-1] o.apache.http.client.HttpClient : HTTP/1.1 200 2021-05-28 11:08:26.316 INFO [sleuth-demo,9c3a3f80e0516d7f,9c3a3f80e0516d7f,false] 14292 --- [nio-8080-exec-1] o.apache.http.client.HttpClient : Content-Type: application/json 2021-05-28 11:08:26.316 INFO [sleuth-demo,9c3a3f80e0516d7f,9c3a3f80e0516d7f,false] 14292 --- [nio-8080-exec-1] o.apache.http.client.HttpClient : Transfer-Encoding: chunked 2021-05-28 11:08:26.316 INFO [sleuth-demo,9c3a3f80e0516d7f,9c3a3f80e0516d7f,false] 14292 --- [nio-8080-exec-1] o.apache.http.client.HttpClient : Date: Fri, 28 May 2021 03:08:26 GMT 2021-05-28 11:08:26.316 INFO [sleuth-demo,9c3a3f80e0516d7f,9c3a3f80e0516d7f,false] 14292 --- [nio-8080-exec-1] o.apache.http.client.HttpClient : ``` 这里的日志中，sleuth-demo为当前服务名，9c3a3f80e0516d7f为当前请求的Trace ID，false表示当前请求没有被采样。 5. 查看服务跟踪 访问http://localhost:9411/zipkin/，可以看到服务跟踪页面。在搜索框中输入服务名（sleuth-demo），可以看到当前服务的请求链路和请求耗时等信息。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值