分布式之Skywalking

最新推荐文章于 2024-05-15 06:18:30 发布
最新推荐文章于 2024-05-15 06:18:30 发布
阅读量1k 收藏 22
点赞数 32
分类专栏： 分布式 java 文章标签： 分布式
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/jbjmh/article/details/136889909
版权

Skywalking

skywalking是一个apm系统，包含监控，追踪，并拥有故障诊断能力的 分布式系统

一、Skywalking介绍

1.什么是SkyWalking

  Skywalking是由国内开源爱好者吴晟开源并提交到Apache孵化器的产品，它同时吸收了Zipkin /Pinpoint /CAT 的设计思路。特点是：支持多种插件，UI功能较强，支持非侵入式埋点。目前使用厂商最多，版本更新较快。

  数据存储支持：Elasticsearch、MySQL、H2、TiDB。默认是H2，而且是存到内存。实际我们一般将其存到ES。

主页：http://skywalking.apache.org/
下载：https://skywalking.apache.org/downloads/
github：https://github.com/apache/skywalking
文档：https://github.com/apache/skywalking/tree/master/docs
配置：https://github.com/apache/skywalking/tree/master/docs/en/setup/backend

2.APM

  APM全称Application Performance Management应用性能管理，目的是通过各种探针采集数据，收集关键指标，同时搭配数据呈现以实现对应用程序性能管理和故障管理的系统化解决方案.

  Zabbix、Premetheus、open-falcon等监控系统主要关注服务器硬件指标与系统服务运行状态等，而APM系统则更重视程序内部执行过程指标和服务之间链路调用情况的监控，APM更有利于深入代码找到请求响应“慢”的根本问题，与Zabbix之类的监控是互补关系 目前市面上开源的APM系统主要有CAT、Zipkin、Pinpoint、SkyWalking，大都是参考Google的 Dapper实现的.

3.链路追踪工具对比

链路追踪工具一般要有如下功能：

  • 心跳检测（确定应用是否还在运行）
  • 记录请求的执行流程、执行时间
  • 资源监控（CPU、内存、带宽、磁盘）
  • 告警功能（监控执行时间、成功率等通过邮件、钉钉、短信、微信等进行通知）
  • 可视化页面

常用的工具有：

Zipkin
  Twitter开源的调用链分析工具，目前基于springcloud sleuth得到了广泛的使用，特点是轻量，使用部署简单。
Pinpoint
  韩国人开源的基于字节码注入的调用链分析，以及应用监控分析工具。特点是支持多种插件，UI功能强大，接入端无代码侵入。
SkyWalking
  本土开源的基于字节码注入的调用链分析，以及应用监控分析工具。特点是支持多种插件，UI功能较强，接入端无代码侵入。目前已加入Apache孵化器。
CAT
  大众点评开源的基于编码和配置的调用链分析，应用监控分析，日志采集，监控报警等一系列的监控平台工具。

各维度对比

对比项ZipkinPinpointSkyWalkingCat
实现方式拦截请求，发送(Http,MQ)数据到Zipkin服务Java探针，字节码增强Java探针，字节码增强代码埋点(拦截器，注解，过滤器等)
接入方式基于linkerd或者sleuth方式javaagent字节码javaagent字节码代码侵入
agent到collector协议http,MQthriftgRPChttp/tcp
OpenTracing支持不支持支持不支持
颗粒度接口级方法级方法级代码级
全局调用统计不支持支持支持支持
traceid查询支持不支持支持不支持
报警不支持支持支持支持
JVM监控不支持不支持支持支持
UI功能支持支持支持支持
数据存储ES、MySQL等HBaseES/H2/MySQLMySQL/HDFS

性能对比图

image.png

4.SkyWalking的功能特性

  1. 多种监控手段，通过语言探针和Service mesh 获得监控的数据
  2. 支持多种语言自动探针，包括 Java， .NET Core 和 Node.js
  3. 轻量高效，无需大数据平台和大量的服务器资源
  4. 模块化，UI，存储，集群管理都有多种机制可选
  5. 支持报警，告警
  6. 优秀的可视化解决方案

二、SkyWalking环境搭建

1.Skywalking结构

  先来看看Skywalking的结构图

image.png

说明：

  • Skywalking agent 和业务系统绑定在一起，负责收集各种监控数据
  • Skywalking oapservice负责处理监控数据，比如接受Skywalking agent的监控数据，并且存储在数据库中，接受Skywalking webapp前端的请求，从数据库查询数据，并返回给前端，Skywalking oapservice通常会以集群的方式搭建
  • Skywalking webapp ，UI服务，用于可视化展示数据
  • 用户持久化监控数据的数据库，可以选用ElasticSearch、MySQL等

2.Skywalking部署

  从官网提供的下载地址下载安装文件，我们先通过windows操作来演示下：https://skywalking.apache.org/downloads/

image.png

点击对应的下载链接下载即可

image.png

启动服务：

image.png

启动成功后会启动两个服务，一个是Skywalking-oap-server,一个是Skywalking-web-ui:8080

Skywalking-oap-server服务启动后会暴露11800和12800两个端口，分别为收集监控数据的端口11800和接收前端请求的端口12800，修改端口可以修改config/application.yml

image.png

默认端口8080，访问效果如下：

image.png

3.Java Agent

  在新版本中Agent是需要单独下载的。

image.png

下载后解压出来放在了前面Skywalking的解压目录中

image.png

三、服务接入

  然后我们就可以把我们的微服务接入到Skywalking中来监控链路的执行。

1.开发环境的配置

  首先来看看在开发环境中的配置，因为Skywalking是无侵入式的。我们只需要在启动的时候通过相关的参数配置即可

# skywalking-agent.jar 的路径位置
-javaagent:d:\xxx\skywalking-agent.jar
# 在Skywalking中显示的服务名称
-DSW_AGENT_NAME=xxx-skywalking-service
# Skywalking的collector服务的IP及端口
-DSW_AGENT_COLLECTOR_BACKEND_SERVICES=localhost:11800

注意：-DSW_AGENT_COLLECTOR_BACKEND_SERVICES 可以指定远程服务，但是 -javaagent必须是本地的jar包.

2.gateway服务

  然后我们接入gateway的服务。在启动时设置对应的参数

image.png

启动服务后，我们进入Skywalking的UI服务中查看

image.png

可以看到有对应的服务信息，但是没有相关的链路信息，主要是因为默认Skywalking中是不支持Gateway的，我们需要显示的添加对应的gateway插件支持

image.png

从我们下载的agent包中的 optional-plugins中把gateway的jar拷贝的对应的plugins中即可

image.png

重启服务测试即可

image.png

3.对接多个服务

  接下来我们就可以把商城系统中的各个服务都对接到Skywalking中，给每个服务添加对应的配置

-Xmx512m
-javaagent:D:\software\apache-skywalking-apm-bin\skywalking-agent\skywalking-agent.jar
-DSW_AGENT_NAME=mall-product
-DSW_AGENT_COLLECTOR_BACKEND_SERVICES=localhost:11800

分别启动

image.png

image.png

四、Skywalking持久化

  持久化数据到MySQL中。修改下配置，把原来默认的H2修改为MySQL就可以了。

image.png

mysql://localhost:3306/swtest?rewriteBatchedStatements=true&serverTimezone=UTC&useUnicode=true&characterEncoding=utf-8

然后还需要把MySQL的驱动包拷贝到对应的目录中

image.png

然后重启服务即可

image.png

生成的表结构还很多

五、自定义SkyWalking链路

  在默认情况下Skywalking是没有记录我们的业务方法的，如果需要添加业务方法的链路监控我们就需要添加如下的依赖

<dependency>
    <groupId>org.apache.skywalking</groupId>
    <artifactId>apm-toolkit-trace</artifactId>
    <version>8.8.0</version>
</dependency>

然后在业务方法上添加@Trace注解。那么该方法就会被监控

image.png

重启服务并访问：

image.png

但是查看这个方法的详情中没有返回信息和参数

image.png

这时我们可以通过@Tags和@Tag来解决这个问题

@Trace
    @Tags({
            @Tag(key = "getCatelog2JSON",value = "returnedObj"),
            @Tag(key = "param",value = "arg[0]")
    })

key:方法名 value = returnedObj:是指定返回值

arg[0]:参数

重启测试

image.png

六、集成日志框架

  将微服务的日志框架去集成SkyWalking，我们希望在我们微服务中日志中，能够记录当前调用链路的id，然后我们再根据这个id去SkyWalking的前端界面中进行搜索找到对应的调用链路记录。

  因为springboot默认实现的日志框架是logback，这里也就拿logback举例

在微服务中导入maven坐标

<!-- skywalking 日志记录  -->
<dependency>
    <groupId>org.apache.skywalking</groupId>
    <artifactId>apm-toolkit-logback-1.x</artifactId>
    <version>8.5.0</version>
</dependency>

在项目中 resources目录下创建 logback-spring.xml文件

<?xml version="1.0" encoding="UTF-8"?>
<configuration>

    <appender name="console" class="ch.qos.logback.core.ConsoleAppender">
        <encoder class="ch.qos.logback.core.encoder.LayoutWrappingEncoder">
            <layout class="org.apache.skywalking.apm.toolkit.log.logback.v1.x.TraceIdPatternLogbackLayout">
                <pattern>%d{HH:mm:ss.SSS} [%thread] %-5level logger_name:%logger{36} - [%tid] - message:%msg%n</pattern>
            </layout>
        </encoder>
    </appender>

    <root level="INFO">
        <appender-ref ref="console" />
    </root>

</configuration>

在Skywalking UI的日志菜单中显示日志信息

<?xml version="1.0" encoding="UTF-8"?>
<configuration>

    <!--  控制台日志输出的格式中添加tid  -->
    <appender name="console" class="ch.qos.logback.core.ConsoleAppender">
        <encoder class="ch.qos.logback.core.encoder.LayoutWrappingEncoder">
            <layout class="org.apache.skywalking.apm.toolkit.log.logback.v1.x.TraceIdPatternLogbackLayout">
                <pattern>%d{HH:mm:ss.SSS} [%thread] %-5level logger_name:%logger{36} - [%tid] - message:%msg%n</pattern>
            </layout>
        </encoder>
    </appender>

    <!-- skywalking grpc 日志收集 8.4.0版本开始支持 -->
    <appender name="grpc-log" class="org.apache.skywalking.apm.toolkit.log.logback.v1.x.log.GRPCLogClientAppender">
        <encoder class="ch.qos.logback.core.encoder.LayoutWrappingEncoder">
            <layout class="org.apache.skywalking.apm.toolkit.log.logback.v1.x.mdc.TraceIdMDCPatternLogbackLayout">
                <Pattern>%d{yyyy-MM-dd HH:mm:ss.SSS} [%tid] [%thread] %-5level %logger{36} -%msg%n</Pattern>
            </layout>
        </encoder>
    </appender>

    <root level="INFO">
        <appender-ref ref="console" />
        <appender-ref ref="grpc-log" />
    </root>

</configuration>


plugin.toolkit.log.grpc.reporter.server_host=${SW_GRPC_LOG_SERVER_HOST:127.0.0.1}
plugin.toolkit.log.grpc.reporter.server_port=${SW_GRPC_LOG_SERVER_PORT:11800}
plugin.toolkit.log.grpc.reporter.max_message_size=${SW_GRPC_LOG_MAX_MESSAGE_SIZE:10485760}
plugin.toolkit.log.grpc.reporter.upstream_timeout=${SW_GRPC_LOG_GRPC_UPSTREAM_TIMEOUT:30}

image.png

一只经常emo的程序员
关注
  • 32
    点赞
  • 踩
  • 22
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
Skywalking 6 环境搭建
12-29 861
一、系统时区设置 sudo timedatectl set-timezone Asia/Shanghai 二、ES 环境搭建 准备 1.1 节点规划 IP cluster.name node.name 172.31.9.89 elasticsearch node-1 1.2 安装Java运行环境JRE 下载jdk-8u201-linux-x64.tar.gz tar ...
055. SkyWalking 集群环境搭建
山海散客
09-07 477
1. 环境准备 1.1. 用于搭建 SkyWalking 的三台服务器 1.1.1. 服务器 10.1.62.78 10.1.62.79 10.1...
Skywalking环境搭建
mry6的博客
06-10 1772
默认的Linux限制root用户开启的进程可以开启任意数量的线程，其他用户开启的进程可以开启1024个线程。因为ES至少需要4096的线程池预备。elasticsearch-6.4.0.tar.gz — elasticsearch-6.4的安装包，Skywalking对es版本号有一定要求，最好使用6.3.2以上版本，如果是7.x版本需要额外进行配置。9、然后我们就可以通过浏览器访问Skywalking的可视化页面了，访问地址:http://虚拟机IP地址:9080,如果出现下面的图，就代表安装成功了。
专为云原生、微服务架构而设计的链路追踪工具 【SkyWalking介绍及搭建】_微服务链路追踪工具
2401_84167086的博客
05-15 718
服务链路追踪已成为不可或缺的一环。
SkyWalking Liunx 环境搭建&NetCore接入
dotNET跨平台
04-01 1017
背景前两天看见有小哥介绍windows下安装skywalking的介绍地址。正好最近也在搭建linux环境的SkyWalking，顺便把linux环境搭建的经验分享下，帮...
视频-分布式链路追踪skywalking.txt
10-24
视频-分布式链路追踪skywalking.txt
分布式链路追踪工具SkyWalking集成Elasticsearch(基于Docker)
01-20
提供分布式追踪、服务网格遥测分析、度量聚合和可视化一体化解决方案。 具体请参考 funtl.com SkyWalking 服务端配置 1、基于 Docker 安装 ElasticSearch Docker及Docker-Compose安装 Centos7(Ubuntu18.04)安装...
使用Apache SkyWalking(Incubating) 监控.NET Core分布式服务
12-31
使用Apache SkyWalking(Incubating) 监控.NET Core分布式服务 使用Apache SkyWalking(Incubating) 监控.NET Core分布式服务 使用Apache SkyWalking(Incubating) 监控.NET Core分布式服务 使用Apache SkyWalking...
skyWalking接入
01-24
接入skyWalking分布式系统，前后端都有，详细注释以及解析，只需要两步就可以了，下载后安装一下依赖，直接运行即可看到效果。 不需要在其它博主那里随便瞎CV，你也不看看他的发布时间，我写这篇文章前3天就是随便...
skywalking-plugins.jar
最新发布
05-21
# 分布式链路追踪_skywalking_学习（3） skywalking_plugins.jar
sky-walking的简易部署
09-27
用于部署sky-walking，并将注意点标注出来。当然一些安装文件都有给出连接。。。-------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------
Skywalking环境搭建及demo实战
qq_14926283的博客
06-28 3786
微服务链路追踪监控skywalking环境搭建及使用
skywalking 安装_基于SkyWalking的分布式跟踪系统 - 环境搭建
weixin_39800875的博客
11-26 177
初识SkyWalking应用场景随着微服务架构的流行，一些微服务架构下的问题也会越来越突出，比如一个请求会涉及多个服务，而服务本身可能也会依赖其他服务，整个请求路径就构成了一个网状的调用链，而在整个调用链中一旦某个节点发生异常，整个调用链的稳定性就会受到影响，如果没有及时处理很有可能会造成整个系统崩溃。面对以上情况，我们就需要一些可以帮助理解系统行为、用于分析性能问题的工具，以便发生故障的时候，能...
skywalking从入门到精通(一)-环境搭建
ratel的博客
03-12 2535
skywalking从入门到精通(一)-环境搭建。
一步步教大家在windows环境下搭建SkyWalking，百分百成功（内附spring boot demo工程源码）
liwenxiang629的博客
02-01 2251
本文详细的介绍了skywalking在Win10上的环境安装过程，es 、oap 和应用jar包都在一台机器上运行。其中文章中提供了es、oap、agent、以及springboot demo工程的下载链接。相信刚接触Skywalking的同学，只需要按照本文内容一步步操作就会完成skywalking的环境搭建工作。文章较长，建议大家收藏。
分布式skywalking安装部署总结
CSDN_niuniu的博客
01-16 3754
1、服务器配置 服务器规划 2 skywalking服务端安装 2.1 zookeeper安装 2.1.1 jdk安装 在服务器上安装jdk1.8，由于系统模板已经集成jdk 1.8.0_221,这里不在单独安装 2.1.2 获取zookeeper安装程序 将安装程序分别上传到zookeeper服务器的/workspaces目录下 wget http://mirror.bit.edu.c...
Skywalking集群搭建
EvanDeveloper的专栏
09-06 2461
JDK安装及配置环境变量 老生常谈，这个就去问下度娘吧 ES集群安装 详情见博客ES集群安装： ZK集群安装 详情见博客ZK集群安装： Skywalking-oap集群安装 官网下载安装包 apache-skywalking-apm-es7-8.5.0.tar.gz tar -zxvf apache-skywalking-apm-es7-8.5.0.tar.gz -C /data/install/path 修改config/application.yml配置 修改注册中心配置 # 修改 selector
微服务链路追踪SkyWalking的介绍和部署
一个人的江湖
06-20 3469
首先我们要明白一点，在微服务的架构中，为什么要做链路追踪？解决问题的痛点在哪里？如何将整个调用链路串起来，并能够快速定位问题？如何梳理清楚各个微服务之间的依赖关系？如何针对各个微服务接口进行性能分折？如何跟踪整个业务流程的调用处理顺序？SkyWalking是一个开源的应用性能监控系统，它主要用于跟踪、监测和优化分布式系统和微服务架构的性能。它提供了分布式系统的全链路追踪、指标采集和可视化等功能，可以帮助开发人员及运维人员在实时和历史数据中快速定位和解决性能问题。
skywalking
07-27
Skywalking是一个可观测性分析平台和应用性能管理系统，它基于OpenTracing规范，是一个开源的AMP系统。它提供了分布式跟踪、服务网格遥测分析、度量聚合和可视化一体化解决方案。Skywalking对业务代码无侵入，性能表现优秀，增长势头强劲，社区活跃，中文文档齐全，同时支持多语言探针，包括Java、.Net Core、PHP、NodeJS、Golang、LUA和C++代理。此外，Skywalking还支持与Dubbo、gRPC、SOFARPC等多个框架的集成。\[1\]\[2\]\[3\] #### 引用[.reference_title] - *1* *2* *3* [全网最全的Skywalking链路追踪](https://blog.csdn.net/scmagic/article/details/123429815)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^insertT0,239^v3^insert_chatgpt"}} ] [.reference_item] [ .reference_list ]

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

一只经常emo的程序员

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值