分布式链路追踪SkyWalking进阶实战之RPC上报和WebHook通知(三)

是小王同学啊~

已于 2023-02-25 19:38:17 修改

阅读量1.8k

点赞数 2

分类专栏： SkyWalking 文章标签： rpc 分布式 skywalking

于 2023-01-28 11:19:58 首次发布

本文链接：https://blog.csdn.net/wnn654321/article/details/128594388

版权

SkyWalking 专栏收录该内容

3 篇文章 1 订阅

订阅专栏

1.自定义SkyWalking链路追踪配置

1.1 什么是TraceId

1.2 使用的背景

1.3 编码

2.SkyWalking-RocketBot性能剖析

3.SkyWalking链路追踪-日志和RPC上报实战

4.源码部署 Apache SkyWalking

5.SkyWalking链路追踪-告警模块和WebHook通知《上》

6.SkyWalking链路追踪-告警模块和WebHook通知《下》

7.Jar包和微服务方式打包运行整合Skywalking

本篇主要介绍SkyWalking性能剖析，慢业务代码定位以及通知告警

SkyWalking和Springboot的整合以及基础页面介绍见下面2篇博客

分布式链路追踪SkyWalking快速入门之环境安装界面指标介绍(一)_这是王姑娘的微博的博客-CSDN博客本篇简单介绍SkyWalking是什么，特点和整体架构组成，使用docker安装部署，页面指标项的介绍https://blog.csdn.net/wnn654321/article/details/128594125 Springboot整合分布式链路追踪SkyWalking之探针使用和链路采集实战(二)_这是王姑娘的微博的博客-CSDN博客本篇主要展示SkyWalking和Springboot项目的整合以及探针链路采集展示https://blog.csdn.net/wnn654321/article/details/128594365

1.自定义SkyWalking链路追踪配置

1.1 什么是TraceId

用来标识一条请求链路，一条请求链路中包含一个Trace ID，多个Span ID

1.2 使用的背景

对业务代码进行链路追踪，方便排查问题
比如，某个接口请求耗时慢，想对业务接口方法进行追踪
controller->service 方法，记录业务方法加入到链路中，记录入参、返回值等

1.3 编码

添加依赖

<dependency>
      <groupId>org.apache.skywalking</groupId>
      <artifactId>apm-toolkit-trace</artifactId>
      <version>8.5.0</version>
</dependency>

业务方法添加注解 @Trace

需要记录入参和返回值的话增加 tag注解

注意！！POJO记得重写toString方法
@Tags(
{@Tag(key = "方法名-input", value = "arg[0]"),
@Tag(key = "方法名-output", value = "returnedObj")
}
)

Demo:

缺点:代码有侵入性

2.SkyWalking-RocketBot性能剖析

性能剖析

新建任务：新建需要分析的端点

左侧列表：对任务进行采样

右侧：每个端点的链路信息

性能分析：可以查看对应方法的调用栈，找出问题点可直接定位到代码方法和代码行
注意：一个服务在监控持续时间内只能设置一个端点监控任务

新建任务后开始请求接口，然后等待几秒刷新性能剖析列表，就会出来接口对应的分析结果

点击分析按钮，出来对应的堆栈信息，可查看自己熟悉的包名类名调用

3.SkyWalking链路追踪-日志和RPC上报实战

使用背景：
用户请求接口，怎么在我们日志中找到traceId来跟踪系统调用链路 / 需要在系统日志打印出traceId

添加依赖:pom.xml

 <dependency>
            <groupId>org.apache.skywalking</groupId>
            <artifactId>apm-toolkit-logback-1.x</artifactId>
            <version>8.5.0</version>
</dependency>

配置logback打印日志(SpringBoot默认使用Logback),配置文件名 logback.xml

<?xml version="1.0" encoding="UTF-8"?>
<configuration>　　
    <!-- 控制台输出 -->
    <appender name="console" class="ch.qos.logback.core.ConsoleAppender">
        <encoder class="ch.qos.logback.core.encoder.LayoutWrappingEncoder">
            <layout class="org.apache.skywalking.apm.toolkit.log.logback.v1.x.TraceIdPatternLogbackLayout">
                <Pattern>%d{yyyy-MM-dd HH:mm:ss.SSS} [%tid] [%thread] %-5level %logger{36} -%msg%n</Pattern>
            </layout>
        </encoder>
    </appender>

    <!--系统操作日志-->
    <root level="INFO">　　
        <appender-ref ref="console"/>　
        <appender-ref ref="grpc-log"/>　
    </root>
</configuration>

代码打印日志:

import org.slf4j.Logger;
import org.slf4j.LoggerFactory;


Logger logger = LoggerFactory.getLogger(ProductController.class);

//代码中 logger.info 打印日志

重启服务后打印日志：可以看到TID

将日志上传到skywalking oap中，查看更方便

<?xml version="1.0" encoding="UTF-8"?>
<configuration>　　
    <!-- 控制台输出 -->
    <appender name="console" class="ch.qos.logback.core.ConsoleAppender">
        <encoder class="ch.qos.logback.core.encoder.LayoutWrappingEncoder">
            <layout class="org.apache.skywalking.apm.toolkit.log.logback.v1.x.TraceIdPatternLogbackLayout">
                <Pattern>%d{yyyy-MM-dd HH:mm:ss.SSS} [%tid] [%thread] %-5level %logger{36} -%msg%n</Pattern>
            </layout>
        </encoder>
    </appender>


    <!-- skywalking grpc 日志收集上报服务端 8.4.0版本后支持 -->
    <appender name="grpc-log" class="org.apache.skywalking.apm.toolkit.log.logback.v1.x.log.GRPCLogClientAppender">
        <encoder class="ch.qos.logback.core.encoder.LayoutWrappingEncoder">
            <layout class="org.apache.skywalking.apm.toolkit.log.logback.v1.x.mdc.TraceIdMDCPatternLogbackLayout">
                <Pattern>%d{yyyy-MM-dd HH:mm:ss.SSS} [%tid] [%thread] %-5level %logger{36} -%msg%n</Pattern>
            </layout>
        </encoder>
    </appender>


    <!--系统操作日志-->
    <root level="INFO">　　
        <appender-ref ref="console"/>　
        <appender-ref ref="grpc-log"/>　
    </root>
</configuration>

注意:
skywaling agent 默认是上传到本地的oap，如果oap server地址不是本地，则需要单独配置oap server地址
agent文件夹里面config配置增加以下几个

#日志数据的grpc服务器的主机
plugin.toolkit.log.grpc.reporter.server_host=${SW_GRPC_LOG_SERVER_HOST:112.xxx.xx.xxx}
#日志数据的grpc服务器的端口
plugin.toolkit.log.grpc.reporter.server_port=${SW_GRPC_LOG_SERVER_PORT:11800}
#日志数据的最大大小
plugin.toolkit.log.grpc.reporter.max_message_size=${SW_GRPC_LOG_MAX_MESSAGE_SIZE:10485760}
#发送数据时将超时多长时间。单位是秒
plugin.toolkit.log.grpc.reporter.upstream_timeout=${SW_GRPC_LOG_GRPC_UPSTREAM_TIMEOUT:30}

重启后访问连接，在日志模块可以看到控制台输出的信息

日志详情：

根据TID搜索控制台日志

同步搜索UI 日志模块

查看日详情

4.源码部署 Apache SkyWalking

解压：

配置更改：config配置文件 application.yml 存储
H2（默认）/ ElasticSearch 6, 7/MySQL /TiDB /InfluxDB

启动：路径 /skywalking/apache-skywalking-apm-bin/bin

方式一:bin/startup.sh startup.sh里面是启动了 oap和ui的

方式二:分开启动

#端口 11800
bin/oapService.sh

#端口8080
bin/webappService.sh

完成启动~

查看日志 #oap日志 skywalking-oap-server.log
#ui界面日志 webapp.log

5.SkyWalking链路追踪-告警模块和WebHook通知《上》

需求:
监控业务相关接口性能，超过阈值则触发告警功能
通过调用webhook接口进行触发，具体的webhook接口地址可以自行定义路径
注意：要OAP Server的网络可以触发的webhook接口一个是阿里云一个是本机电脑，直接是通不了的可以增加小米球 / Ngrok内网穿透
开发人员可以在webhook接口中编写告警方式，比如邮件、短信等，就是一个http接口

Apache Skywalking默认的告警规则配置

安装目录下的conﬁg文件夹下 alarm-settings.yml文件
默认内置多个规则
最近3分钟内服务的平均响应时间超过1秒
最近2分钟服务成功率低于80%
最近3分钟90%服务响应时间超过1秒
最近2分钟内服务实例的平均响应时间超过1秒

配置含义:
metrics-name 脚本中的度量名称
threshold 阈值
op 比较操作符，可以设定>,<,=
period 多久检查一次当前的指标数据是否符合告警规则，单位分钟
count 达到多少次后，触发告警消息
silence-period 在多久时间之内，忽略相同的告警消息，在时间T触发了某告警，那么在(T+10)这个时间段，不会再次触发相同告警
message 告警消息内容
webhooks 配置告警产生时的触发的调用地址

6.SkyWalking链路追踪-告警模块和WebHook通知《下》

编码：

public class AlarmMessage {

    private int scopeId;
    private String scope;
    private String name;
    private String id0;
    private String id1;
    private String ruleName;
    private String alarmMessage;
    private long startTime;
    private transient int period;
    private transient boolean onlyAsCondition;

    //.........set get toString...........
}


@RestController
public class CallbackController {
    Logger logger = LoggerFactory.getLogger(CallbackController.class);
    private List<AlarmMessage> messageList = new ArrayList<>();


    @PostMapping("webhook")
    public void webhook(@RequestBody List<AlarmMessage> alarmMessageList){

        logger.info("收到消息 该消息接收到后，可以推送邮箱或者短信："+alarmMessageList);

        messageList.addAll(alarmMessageList);
    }

    @GetMapping("list_alarm_msg")
    public List<AlarmMessage> list(){

        return messageList;
    }


}

配置webhook接口，POST方式推送

注意：要重启oap server!!!!!!!!
webhooks:
- http://127.0.0.1:8081/webhook/

更改config目录下的alarm-settings.yml

重启oap server 先停止8080和11800 然后再启动

业务代码更改:
修改睡眠时间为2秒，模拟接口响应慢

启动业务代码，访问连接，结果：

2-10分钟之内，服务下的接口请求超过1秒响应则进行告警推送，在skywalking的告警页面可见。

代码中接收到的错误信息,实际应用中可以获取到信息然后推送钉钉或者短信邮件等渠道

Springboot整合短信发送见下面这篇博文：

springboot2.x 接入阿里云市场短信发送_这是王姑娘的微博的博客-CSDN博客1.短信平台购买次数地址https://market.aliyun.com/products/57000002/cmapi00046920.html提供测试模板、免审核、测试成本更低2.测试学习使用的话，3块钱75多次够用了3.购买后在跳转成功页面记录AppSecret、key、code4.记录模板ID5.上代码环节@Configurationpublic class RestTemplateConfig { @Bean public .https://blog.csdn.net/wnn654321/article/details/121578434

Springboot整合邮箱发送见下面这篇博文:

springboot2.x整合邮箱发送_这是王姑娘的微博的博客-CSDN博客1.邮件传输协议◦SMTP协议：全称为 Simple Mail Transfer Protocol，简单邮件传输协议。它定义了邮件客户端软件和SMTP邮件服务器之间，以及两台SMTP邮件服务器之间的通信规则◦POP3协议：全称为 Post Office Protocol，邮局协议。它定义了邮件客户端软件和POP3邮件服务器的通信规则◦IMAP协议：全称为 Internet Message Access Protocol,Internet消息访问协议，它是对POP3协议一种扩展，也是定义了邮件客户端https://blog.csdn.net/wnn654321/article/details/114228363
7.Jar包和微服务方式打包运行整合Skywalking

项目打包:
springboot项目和springcloud项目都一样，jar方式运行

通过java -jar 加入参数

项目打包:mvn install

启动：

nohup java -jar -javaagent:/root/apache-skywalking-apm-bin/agent/skywalking-agent.jar -Dskywalking.agent.service_name=WnnShop -Dskywalking.collector.backend_service=112.xxx.xxx.240:11800 wnn-sky-0.0.1-SNAPSHOT.jar &