【SkyWalking】Java服务从零接入全链路追踪解决方案

SkyWalking基本结构

• 探针

1. 基于不同的来源可能是不一样的, 但作用都是收集数据, 将数据格式化为 SkyWalking 适用的格式.
2. 基于语言的原生代理
3. 服务网格探针
4. 第三放打点类库

• 平台后端

1. 支持数据聚合, 数据分析以及驱动数据流从探针到用户界面的流程。
2. 分析包括 Skywalking 原生追踪和性能指标以及第三方来源，包括 Istio 及 Envoy telemetry , Zipkin 追踪格式化等。
3. 甚至可以使用 Observability Analysis Language 对原生度量指标 和 用于扩展度量的计量系统 自定义聚合分析。

• 存储

1. 通过开放的插件化的接口存放 SkyWalking 数据.
2. 你可以选择一个既有的存储系统, 如 ElasticSearch, H2 或 MySQL 集群(Sharding-Sphere 管理),也可以选择自己实现一个存储系统. 当然, 我们非常欢迎你贡献新的存储系统实现。

• UI

1. 一个基于接口高度定制化的Web系统，用户可以可视化查看和管理 SkyWalking 数据。

SkyWalking代码结构

• agent

  1. skwwalking-agent.jar 代理服务jar包
  2. config: 代理服务启动时使⽤的配置⽂件
  3. plugins: 包含多个插件，代理服务启动时会加载该⽬录下的所有插件(实际上时各种jar包) optional-plugins:可选插件，当需要⽀持某些功能时，⽐如 Spring Cloud Gateway，则需要把对 应的jar包拷⻉到plugins⽬录下；

• webapp: UI前端（web监控⻚⾯）的jar包配置⽂件

  1. webapp.yml : 默认配置启动UI时访问端⼝ 8080，需要更改
  2. listOfServers表示接收前端请求端⼝12800

• oap-libs：

  1. 后台应⽤的jar包，以及它的依赖jar包，⾥⾯有⼀个server-starter-*.jar就时对应的启动程序

• config：启动后台应⽤程序的配置⽂件

  1. application.yml：可配置存储数据库类型、⾼可⽤注册服务等 ，需要修改存储方式改为ES存储

• bin: 各种启动脚本，⼀般使⽤脚本startup.*来启动web⻚⾯和对应的后台应⽤；

  1. oapServer.*： 默认使⽤的后台程序的启动脚本；（使⽤的默认模式启动，还⽀持）
  2. oapServerInit.*: 使⽤init模式启动，在此模式下，OAP服务器启动以执⾏初始化⼯作，然后退出
  3. oapServerNoInit.*：使⽤no init模式启动，在此模式下，OAP服务器不进⾏初始化
  4. webappService.*: UI前端的启动脚本
  5. startup.：组合脚本，同时启动oapServer. ，webappService.*脚本

SkyWalking搭建8.6.0-es版本

1. 下载链接：archive.apache.org/dist/skywal…
2. 首先需要修改启动端口

vi apache-skywalking-apm-bin-es7/webapp/webapp.yml，修改server.port（原8080）
复制代码

1. 修改存储类型

vi apache-skywalking-apm-bin-es7/config/application.yml
复制代码

1. sh apache-skywalking-apm-bin-es7/bin/startup.sh  启动

2. skywalking服务日志存储到apache-skywalking-apm-bin-es7/logs中

3. 启动成功后会启动两个服务，⼀个是skywalking-oap-server，⼀个是skywalking-web-ui

4. skywalking-oap-server服务启动后会暴露11800 和 12800 两个端⼝，分别为收集监控数据的端⼝11800和接受前端请求的端⼝12800

Java服务接入SkyWalking

• 使用Java agent方式监控服务，编写sheel启动脚本，直接运行改脚本即可

export SW_AGENT_NAME=sky_service
export SW_AGENT_COLLECTOR_BACKEND_SERVICES=127.0.0.1:11800 #skywalking Collector地址 
export SW_AGENT_SPAN_LIMIT=2000 #配置链路最大Span数量，默认为300 
export JAVA_AGENT=-javaagent:../apache-skywalking-apm-bin-es7/agent/skywalking-agent.jar   #agent包地址 nohup java $JAVA_AGENT -jar *.jar &
复制代码

• 控制台打印tracid，需要更改日志格式，配置logback-spring.xml文件

<?xml version="1.0" encoding="UTF-8" ?>
<configuration>
   <!-- 引入springboot 默认的 logback xml 配置文件 (springboot default log config)-->
   <include resource="org/springframework/boot/logging/logback/defaults.xml"/>

   <appender name="console" class="ch.qos.logback.core.ConsoleAppender">
      <!-- 日志的格式化-->
      <encoder class="ch.qos.logback.core.encoder.LayoutWrappingEncoder">
         <layout class="org.apache.skywalking.apm.toolkit.log.logback.v1.x.TraceIdPatternLogbackLayout">
            <!-- 来源于defaults.xml 可以全局查找文件找到springboot中的该配置文件 如果无需更改 只需要引入>${CONSOLE_LOG_PATTERN}-->
            <!-- 我们需要记录traceId 所以需要加上[%tid] 加在下面任意一个不破坏格式的地方-->
            <!--source from springboot logback defaults.xml,default:${CONSOLE_LOG_PATTERN}
             but we need to note the traceId ,add [%tid]-->
            <!-- https://github.com/apache/skywalking/tree/master/docs/en/setup/service-agent/java-agent -->
            <Pattern>-%clr(%d{${LOG_DATEFORMAT_PATTERN:-yyyy-MM-dd HH:mm:ss.SSS}}){faint}%clr(${LOG_LEVEL_PATTERN:-%5p}) %clr(${PID:- }){magenta} [%tid] %clr(---){faint}%clr([%15.15t]){faint} %clr(%-40.40logger{39}){cyan} %clr(:){faint}%m%n${LOG_EXCEPTION_CONVERSION_WORD:-%wEx}</Pattern>
<!--            <Pattern>${CONSOLE_LOG_PATTERN:%clr(%d{${LOG_DATEFORMAT_PATTERN:yyyy-MM-dd HH:mm:ss.SSS}}){faint} %clr(${LOG_LEVEL_PATTERN:%5p}) %clr(${PID:- }){magenta} [${spring.application.name}] %clr([%10.10t]){faint}[%36.36X{trace_id}] %clr(%-40.40logger{39}){cyan} %clr(:){faint} %m%n${LOG_EXCEPTION_CONVERSION_WORD:%wEx}}</Pattern>-->

         </layout>

      </encoder>
   </appender>

   <!-- grpc方式将traceId推送至skywalking-->
   <appender name="grpc-log" class="org.apache.skywalking.apm.toolkit.log.logback.v1.x.log.GRPCLogClientAppender">
      <encoder class="ch.qos.logback.core.encoder.LayoutWrappingEncoder">
         <layout class="org.apache.skywalking.apm.toolkit.log.logback.v1.x.mdc.TraceIdMDCPatternLogbackLayout">
            <Pattern>%d{yyyy-MM-dd HH:mm:ss.SSS} [%X{tid}] [%thread] %-5level %logger{36} -%msg%n</Pattern>
         </layout>
      </encoder>
   </appender>


   <!--设置appender -->
   <root level="INFO">
      <appender-ref ref="console"/>
      <appender-ref ref="grpc-log"/>
   </root>

</configuration>
复制代码

接入效果

指标仪表盘

拓扑图

日志监控