作用和背景:随着业务规模的不断的增大, 系统的复杂度也越来越高, 我们的软件架构也进入到了分布式的阶段, 服务按照不同的维度进入到了分布式的阶段, 服务按照不同的维度进行拆分, 每一次的请求可能跨越多个微服务, 这样就导致我们每一次请求都有可能出现异常. 传统的日志监控方式无法满足调用链路追踪, 这就导致定位/诊断服务异常变得异常复杂.
1)功能性需求:
① 请求链路追踪,快速定位故障,缩短故障的排除时间 以及 判断故障影响范围 ② 可视化链路各阶段的耗时,进行性能分析,排除业务瓶颈 ③ 梳理服务依赖关系以及优化依赖的合理性 ④ 系统指标监控,吞吐量(TPS)、响应时间及错误记录等。 (2)非功能性需求:
探针的性能消耗:服务调用埋点本身会带来性能损耗,这就需要组件对业务系统的性能影响小 代码的侵入性:对业务系统尽可能少入侵或者无入侵其他,对于使用方透明,减少开发人员的负担。
Skywalking 简介:skywalking 是一个优秀的国产开源APM组件,是一个对 Java 分布式应用程序集群的业务运行情况进行追踪、告警和分析的系统。2015年由个人吴晟开源 , 2017年加入Apache孵化器。短短两年就被Apache收入麾下,实力可见一斑。
skywalking 支持 SpringBoot、SpringCloud、dubbo 集成,代码无侵入,通信方式采用 GRPC,性能较好,实现方式是 Java 探针,支持告警,支持JVM监控,支持全局调用统计等等,功能较完善。
SkywalKing 安装:
在官网下载安装包
地址:apache-skywalking-java-agent安装包下载_开源镜像站-阿里云 (aliyun.com)
下载完之后就解压到没用中文路径的包下:
接下来进入Skywalking-apm的包,进入Wenapp下:
更改application。yml文件中的路径,8080可更改可不更改,12800不用动,如果想更改也可以
之后进入bin文件中,双击startup.bat文件启动
idea的运用:
# 指定服务的状针的路径
-javaagent:D:\BaiduNetdiskDownload\skywalking-agent\skywalking-agent.jar
# 指定服务的名称
-DSW_AGENT_NAME=skywalking-bawei-system
# 指定它的端口( 服务器就用服务器的端口 )
-DSW_AGENT_COLLECTOR_BACKEND_SERVICES=你服务器的地址:11800
日志采集依赖:
<!-- 项目日志的记录-->
<dependency>
<groupId>org.apache.skywalking</groupId>
<artifactId>apm-toolkit-logback-1.x</artifactId>
<version>8.10.0</version>
</dependency>
<dependency>
<groupId>org.apache.skywalking</groupId>
<artifactId>apm-toolkit-trace</artifactId>
<version>8.10.0</version>
</dependency>
在每一个SpringCloud微服务中添加一个logback.xml的一个日志的文件:
在里面添加代码:
<!-- 引用 Spring Boot 的 logback 基础配置 -->
<include resource="org/springframework/boot/logging/logback/defaults.xml" />
<!-- 变量 yudao.info.base-package,基础业务包 -->
<springProperty scope="context" name="kirin.info.base-package" source="kirin.info.base-package"/>
<!-- 格式化输出:%d 表示日期,%X{tid} SkWalking 链路追踪编号,%thread 表示线程名,%-5level:级别从左显示 5 个字符宽度,%msg:日志消息,%n是换行符 -->
<property name="PATTERN_DEFAULT" value="%d{${LOG_DATEFORMAT_PATTERN:-yyyy-MM-dd HH:mm:ss.SSS}} | %highlight(${LOG_LEVEL_PATTERN:-%5p} ${PID:- }) | %boldYellow(%thread [%tid]) %boldGreen(%-40.40logger{39}) | %m%n${LOG_EXCEPTION_CONVERSION_WORD:-%wEx}"/>
<!-- 控制台 Appender -->
<appender name="STDOUT" class="ch.qos.logback.core.ConsoleAppender">
<encoder class="ch.qos.logback.core.encoder.LayoutWrappingEncoder">
<layout class="org.apache.skywalking.apm.toolkit.log.logback.v1.x.TraceIdPatternLogbackLayout">
<pattern>${PATTERN_DEFAULT}</pattern>
</layout>
</encoder>
</appender>
<!-- 文件 Appender -->
<!-- 参考 Spring Boot 的 file-appender.xml 编写 -->
<appender name="FILE" class="ch.qos.logback.core.rolling.RollingFileAppender">
<encoder class="ch.qos.logback.core.encoder.LayoutWrappingEncoder">
<layout class="org.apache.skywalking.apm.toolkit.log.logback.v1.x.TraceIdPatternLogbackLayout">
<pattern>${PATTERN_DEFAULT}</pattern>
</layout>
</encoder>
<!-- 日志文件名 -->
<file>${LOG_FILE}</file>
<rollingPolicy class="ch.qos.logback.core.rolling.SizeAndTimeBasedRollingPolicy">
<!-- 滚动后的日志文件名 -->
<fileNamePattern>${LOGBACK_ROLLINGPOLICY_FILE_NAME_PATTERN:-${LOG_FILE}.%d{yyyy-MM-dd}.%i.gz}</fileNamePattern>
<!-- 启动服务时,是否清理历史日志,一般不建议清理 -->
<cleanHistoryOnStart>${LOGBACK_ROLLINGPOLICY_CLEAN_HISTORY_ON_START:-false}</cleanHistoryOnStart>
<!-- 日志文件,到达多少容量,进行滚动 -->
<maxFileSize>${LOGBACK_ROLLINGPOLICY_MAX_FILE_SIZE:-10MB}</maxFileSize>
<!-- 日志文件的总大小,0 表示不限制 -->
<totalSizeCap>${LOGBACK_ROLLINGPOLICY_TOTAL_SIZE_CAP:-0}</totalSizeCap>
<!-- 日志文件的保留天数 -->
<maxHistory>${LOGBACK_ROLLINGPOLICY_MAX_HISTORY:-30}</maxHistory>
</rollingPolicy>
</appender>
<!-- 异步写入日志,提升性能 -->
<appender name="ASYNC" class="ch.qos.logback.classic.AsyncAppender">
<!-- 不丢失日志。默认的,如果队列的 80% 已满,则会丢弃 TRACT、DEBUG、INFO 级别的日志 -->
<discardingThreshold>0</discardingThreshold>
<!-- 更改默认的队列的深度,该值会影响性能。默认值为 256 -->
<queueSize>256</queueSize>
<appender-ref ref="FILE"/>
</appender>
<!-- SkyWalking GRPC 日志收集,实现日志中心。注意:SkyWalking 8.4.0 版本开始支持 -->
<appender name="GRPC" class="org.apache.skywalking.apm.toolkit.log.logback.v1.x.log.GRPCLogClientAppender">
<encoder class="ch.qos.logback.core.encoder.LayoutWrappingEncoder">
<layout class="org.apache.skywalking.apm.toolkit.log.logback.v1.x.TraceIdPatternLogbackLayout">
<pattern>${PATTERN_DEFAULT}</pattern>
</layout>
</encoder>
</appender>
<!-- 本地环境 -->
<springProfile name="local">
<root level="INFO">
<appender-ref ref="STDOUT"/>
<appender-ref ref="GRPC"/> <!-- 本地环境下,如果不想接入 SkyWalking 日志服务,可以注释掉本行 -->
<appender-ref ref="ASYNC"/> <!-- 本地环境下,如果不想打印日志,可以注释掉本行 -->
</root>
</springProfile>
<!-- 其它环境 -->
<springProfile name="dev,test,stage,prod,default">
<root level="INFO">
<appender-ref ref="STDOUT"/>
<appender-ref ref="ASYNC"/>
<appender-ref ref="GRPC"/>
</root>
</springProfile>
启动项目,出现以下的就成功了:
Spring-Cloud(网关的配置):
找到这两个包, 进行一个配置, gateway的包有版本,根据自己项目当中使用的gateway版本 如下图
我使用的是3.4的, 所以把它的jar移动到plugins文件中去 plugins是支持的插件 optional-plugins是可选的插件
这就是链路追踪:
性能监控:
1、查看config/alarm-settings.yml文件
查看 config/alarm-settings.yml文件,Skywalking提供了一些默认的规则,只要我们的应用服务请求符合 alarm-setting.yml文件中的某一条规则就会触发告警通知。
rules:
# Rule unique name, must be ended with `_rule`.
service_resp_time_rule:
metrics-name: service_resp_time
op: ">"
threshold: 1000
period: 10
count: 3
silence-period: 5
message: Response time of service {name} is more than 1000ms in 3 minutes of last 10 minutes.
service_sla_rule:
# Metrics value need to be long, double or int
metrics-name: service_sla
op: "<"
threshold: 8000
# The length of time to evaluate the metrics
period: 10
# How many times after the metrics match the condition, will trigger alarm
count: 2
# How many times of checks, the alarm keeps silence after alarm triggered, default as same as period.
silence-period: 3
message: Successful rate of service {name} is lower than 80% in 2 minutes of last 10 minutes
metrics-name:度量名称,也是OAL脚本中的度量名。默认配置中可以用于告警的度量有:服务,实例,端点,服务关系,实例关系,端点关系。它只支持 long,double和 int类型。 op:操作符。 threshold:阈值。 period:多久告警规则需要被检查一下。这是一个时间窗口,与后端部署环境时间相匹配。 count:在一个周期窗口中,如果按op计算超过阈值的次数达到count,则发送告警 silence-period:在时间N中触发报警后,在N -> N + silence-period这段时间内不告警。 message:该规则触发时,发送的通知消息。
默认报警规则:它包括以下规则:
过去 3 分钟内服务平均响应时间超过 1 秒。 最后2分钟服务成功率低于80%。 过去 3 分钟内超过 1 秒的服务响应时间百分比 服务实例最近 2 分钟平均响应时间超过 1 秒,并且实例名称与正则表达式匹配。 过去 2 分钟内端点平均响应时间超过 1 秒。 过去 2 分钟内数据库访问平均响应时间超过 1 秒。 过去 2 分钟内端点关系平均响应时间超过 1 秒。
测试报告:
随便写一个查询接口:
@GetMapping("/timeout")
public UserDO timeout(Long seconds) throws InterruptedException {
if(seconds == null){
throw new RuntimeException("seconds 不能为空");
}
#测试他的时长
TimeUnit.SECONDS.sleep(seconds);
UserDO userDO = userService.getById(11L);
return userDO;
}
创建一个监视的SpringBoot项目进行监控:
在创建以个监视的Controller类来进行发送警告消息的警告处理:
package com.bwie.monder.controller;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.mail.javamail.JavaMailSender;
import org.springframework.mail.javamail.MimeMessageHelper;
import org.springframework.web.bind.annotation.RequestBody;
import org.springframework.web.bind.annotation.RequestMapping;
import org.springframework.web.bind.annotation.RestController;
import javax.mail.internet.MimeMessage;
/**
* @ClassName: SkywalkingAlarmController
* @Description:
* @Description:
* @Author: YourName
* @Date: 2023/6/7
*/
@RestController
@RequestMapping("/sw/alarm")
public class SkywalkingAlarmController {
/**
* Skywalking告警通知回调接口:http://127.0.0.1:18081/sw/alarm/notify/
*
* @param obj
* @return
*/
@RequestMapping("/notify")
public String notify(@RequestBody Object obj) {
// TODO 将告警信息通知给负责人。比如:通过发短信,钉钉消息,邮件,微信通知等方式发送给技术负责人
System.err.println("收到Skywalking告警信息:" + obj.toString());
return "notify successfully";
}
/**
* 发送邮件
*
* Skywalking告警通知回调接口:http://127.0.0.1:18081/sw/alarm/notify2/
*
* @param obj
* @return
*/
@RequestMapping("/notify2")
public String notify2(@RequestBody Object obj) {
// TODO 将告警信息通知给负责人。比如:通过发短信,钉钉消息,邮件,微信通知等方式发送给技术负责人
System.err.println("notify2 收到Skywalking告警信息:" + obj.toString());
sendSimpleMail("2259826937@qq.com", "Skywalking告警信息", obj.toString());
return "notify successfully";
}
private static final String SENDER = "2259826937@qq.com";
@Autowired
private JavaMailSender javaMailSender;
/**
* 发送普通邮件
*
* @param to 收件人邮箱
* @param subject 主题(标题)
* @param content 内容
*/
public void sendSimpleMail(String to, String subject, String content) {
// 发生邮件
MimeMessage mimeMessage = javaMailSender.createMimeMessage();
try{
MimeMessageHelper mimeMessageHelper = new MimeMessageHelper(mimeMessage, true);
mimeMessageHelper.setFrom(SENDER);
mimeMessageHelper.setTo(to);
mimeMessageHelper.setSubject(subject);
mimeMessageHelper.setText(content);
javaMailSender.send(mimeMessage);
}catch (Exception e){
e.printStackTrace();
}
}
}
配置回调接口:
在 config/alarm-settings.yml中配置回调接口(我们应用服务的接口),并重启 skywalking服务。
webhooks:
# - http://127.0.0.1/notify/
# - http://127.0.0.1/go-wechat/
- http://127.0.0.1:18081/sw/alarm/notify/
- http://127.0.0.1:18081/sw/alarm/notify2/
配置完后进行监控服务启动:
一会儿出现报警信息,并且发送邮件:
SkyWalking自定义链路追踪
第一步:导入依赖:
<!-- SkyWalking工具类 因为我们本地启动的SkyWalking服务是8.5版本的,所以这里的依赖版本也最好依赖-->
<dependency>
<groupId>org.apache.skywalking</groupId>
<artifactId>apm-toolkit-trace</artifactId>
<version>8.12.0</version>
</dependency>
第二步,将@Trace
注解加入到Service层的方法上
@Service
@Slf4j
public class OrderServiceImpl implements OrderService {
@Autowired
private OrderMapper orderMapper;
@Autowired
private StockFeignService stockFeignService;
@Override
@GlobalTransactional
@Trace
public void addOrder(Order order) {
// 创建订单
orderMapper.addOrder(order);
// 扣减库存
stockFeignService.deduction(order.getProductId());
log.info("远程服务调用扣减库存");
}
}
接下来重启服务,调用接口,再查看SkyWalking的链路追踪
如果想在SkyWalking的追踪菜单中看这个方法的入参与出差的话,就可以使用@Tag
或者@Tags
注解
@Override
@Trace
@Tag(key = "result", value = "returnedObj")
public List<Order> getAll() {
return orderMapper.getAll();
}
@Override
@Trace
@Tags({@Tag(key = "param", value = "arg[0]"),
@Tag(key = "result", value = "returnedObj")})
public Order get(Integer id) {
return orderMapper.getById(id);
}