使用 docker 构建分布式调用链跟踪框架skywalking

最新推荐文章于 2024-03-17 10:49:06 发布
最新推荐文章于 2024-03-17 10:49:06 发布
阅读量523 收藏
点赞数
文章标签： 可视化 docker ext gwt windbg
原文链接：https://github.com/ctripxchuang/dotnetfly
版权

一旦你的程序docker化之后,你会遇到各种问题，比如原来采用的本地记日志的方式就不再方便了，虽然你可以挂载到宿主机，但你使用 --scale 的话，会导致记录日志异常，所以最好的方式还是要做日志中心化，另一个问题，原来一个请求在一个进程中的痉挛失败，你可以在日志中巡查出调用堆栈，但是docker化之后，原来一个进程的东西会拆成几个微服务，这时候最好就要有一个分布式的调用链跟踪，类似于wcf中的svctraceview工具。

一：搭建skywalking

gihub地址是：https://github.com/apache/incubator-skywalking 从文档中大概看的出来，大体分三个部分：存储，收集器，探针，存储这里就选用推荐的 elasticsearch。收集器准备和es部署在一起，探针就有各自语言的实现了，总之这里就有三个docker container：es，kibana，skywalking， 如果不用容器编排工具的话就比较麻烦。

下面是本次搭建的一个目录结构：

1.  elasticsearch.yml

es的配置文件，不过这里有一个坑，就是一定要将 network.publish_host：0.0.0.0 ，否则skywalking会连不上 9300端口。


network.publish_host: 0.0.0.0
transport.tcp.port: 9300
network.host: 0.0.0.0

2. elasticsearch.dockerfile

在up的时候，将这个es文件copy到 容器的config文件夹下。


FROM elasticsearch:5.6.4

EXPOSE 9200 9300

COPY elasticsearch.yml /usr/share/elasticsearch/config/

3. application.yml

skywalking的配置文件，这里也有一个坑：连接es的地址中，配置的 clustername一定要修改成和es的clustername保持一致，否则会连不上，这里容器之间用link进行互联，所以es的ip改成elasticsearch就可以了，其他的ip改成0.0.0.0 。


# Licensed to the Apache Software Foundation (ASF) under one
# or more contributor license agreements.  See the NOTICE file
# distributed with this work for additional information
# regarding copyright ownership.  The ASF licenses this file
# to you under the Apache License, Version 2.0 (the
# "License"); you may not use this file except in compliance
# with the License.  You may obtain a copy of the License at
#
#     http://www.apache.org/licenses/LICENSE-2.0
#
# Unless required by applicable law or agreed to in writing, software
# distributed under the License is distributed on an "AS IS" BASIS,
# WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
# See the License for the specific language governing permissions and
# limitations under the License.

#cluster:
#  zookeeper:
#    hostPort: localhost:2181
#    sessionTimeout: 100000
naming:
  jetty:
    host: 0.0.0.0
    port: 10800
    contextPath: /
cache:
#  guava:
  caffeine:
remote:
  gRPC:
    host: 0.0.0.0
    port: 11800
agent_gRPC:
  gRPC:
    host: 0.0.0.0
    port: 11800
    #Set these two setting to open ssl
    #sslCertChainFile: $path
    #sslPrivateKeyFile: $path

    #Set your own token to active auth
    #authentication: xxxxxx
agent_jetty:
  jetty:
    host: 0.0.0.0
    port: 12800
    contextPath: /
analysis_register:
  default:
analysis_jvm:
  default:
analysis_segment_parser:
  default:
    bufferFilePath: ../buffer/
    bufferOffsetMaxFileSize: 10M
    bufferSegmentMaxFileSize: 500M
    bufferFileCleanWhenRestart: true
ui:
  jetty:
    host: 0.0.0.0
    port: 12800
    contextPath: /
storage:
  elasticsearch:
    clusterName: elasticsearch
    clusterTransportSniffer: true
    clusterNodes: elasticsearch:9300
    indexShardsNumber: 2
    indexReplicasNumber: 0
    highPerformanceMode: true
    ttl: 7
#storage:
#  h2:
#    url: jdbc:h2:~/memorydb
#    userName: sa
configuration:
  default:
#     namespace: xxxxx
# alarm threshold
    applicationApdexThreshold: 2000
    serviceErrorRateThreshold: 10.00
    serviceAverageResponseTimeThreshold: 2000
    instanceErrorRateThreshold: 10.00
    instanceAverageResponseTimeThreshold: 2000
    applicationErrorRateThreshold: 10.00
    applicationAverageResponseTimeThreshold: 2000
# thermodynamic
    thermodynamicResponseTimeStep: 50
    thermodynamicCountOfResponseTimeSteps: 40

4.  skywalking.dockerfile

接下来就是 skywalking的 下载安装，使用dockerfile流程化。


FROM centos:7

LABEL username="hxc@qq.com"

WORKDIR /app

RUN yum install -y wget && \
    yum install -y java-1.8.0-openjdk

ADD http://mirrors.hust.edu.cn/apache/incubator/skywalking/5.0.0-RC2/apache-skywalking-apm-incubating-5.0.0-RC2.tar.gz /app

RUN tar -xf apache-skywalking-apm-incubating-5.0.0-RC2.tar.gz && \
    mv apache-skywalking-apm-incubating skywalking

RUN ls /app

#copy文件
COPY application.yml /app/skywalking/config/application.yml

WORKDIR /app/skywalking/bin

USER root

RUN  echo "tail -f /dev/null" >> /app/skywalking/bin/startup.sh

CMD ["/bin/sh","-c","/app/skywalking/bin/startup.sh" ]

5. docker-compose.yml

最后就是将这三个容器进行编排，要注意的是，因为收集器会将数据放入到es中，所有一定要将es的data挂载到宿主机的大硬盘下，否则你的空间会不足的。


version: '3.1'

services:

  #elastic 镜像
  elasticsearch:
    build:
      context: .
      dockerfile: elasticsearch.dockerfile
    # ports:
    #   - "9200:9200"
    #   - "9300:9300"
    volumes:
       - "/data/es2:/usr/share/elasticsearch/data"

  #kibana 可视化查询，暴露 5601
  kibana:
    image: kibana
    links:
      - elasticsearch
    ports:
      - 5601:5601
    depends_on:
      - "elasticsearch"
      
  #skywalking
  skywalking:
    build:
      context: .
      dockerfile: skywalking.dockerfile
    ports:
      - "10800:10800"
      - "11800:11800"
      - "12800:12800"
      - "8080:8080"
    links:
      - elasticsearch
    depends_on:
      - "elasticsearch"

二：一键部署

要部署在docker中，你还得需要安装docker-ce 和 docker-compose，大家可以参照官方安装一下。

1. Docker-ce 的安装


sudo yum remove docker \
docker-client \
docker-client-latest \
docker-common \
docker-latest \
docker-latest-logrotate \
docker-logrotate \
docker-selinux \
docker-engine-selinux \
docker-engine

sudo yum install -y yum-utils \
device-mapper-persistent-data \
lvm2

sudo yum-config-manager \
--add-repo \
https://download.docker.com/linux/centos/docker-ce.repo

sudo yum install docker-ce

然后启动一下docker 服务，可以看到版本是18.06.1


[root@localhost ~]# service docker start
Redirecting to /bin/systemctl start  docker.service
[root@localhost ~]# docker -v
Docker version 18.06.1-ce, build e68fc7a

2. docker-compose的安装


sudo curl -L "https://github.com/docker/compose/releases/download/1.22.0/docker-compose-$(uname -s)-$(uname -m)" -o /usr/local/bin/docker-compose

sudo chmod +x /usr/local/bin/docker-compose

3.  最后在centos上执行 docker-compopse up --build 就可以了，如果不想terminal上运行，可以加 -d 使用后台执行。


[root@localhost docker]# docker-compose up --build
Creating network "docker_default" with the default driver
Building elasticsearch
Step 1/3 : FROM elasticsearch:5.6.4
 ---> 7a047c21aa48
Step 2/3 : EXPOSE 9200 9300
 ---> Using cache
 ---> 8d66bb57b09d
Step 3/3 : COPY elasticsearch.yml /usr/share/elasticsearch/config/
 ---> Using cache
 ---> 02b516c03b95
Successfully built 02b516c03b95
Successfully tagged docker_elasticsearch:latest
Building skywalking
Step 1/12 : FROM centos:7
 ---> 5182e96772bf
Step 2/12 : LABEL username="hxc@qq.com"
 ---> Using cache
 ---> b95b96a92042
Step 3/12 : WORKDIR /app
 ---> Using cache
 ---> afdf4efe3426
Step 4/12 : RUN yum install -y wget &&     yum install -y java-1.8.0-openjdk
 ---> Using cache
 ---> 46be0ca0f7b5
Step 5/12 : ADD http://mirrors.hust.edu.cn/apache/incubator/skywalking/5.0.0-RC2/apache-skywalking-apm-incubating-5.0.0-RC2.tar.gz /app

 ---> Using cache
 ---> d5c30bcfd5ea
Step 6/12 : RUN tar -xf apache-skywalking-apm-incubating-5.0.0-RC2.tar.gz &&     mv apache-skywalking-apm-incubating skywalking
 ---> Using cache
 ---> 1438d08d18fa
Step 7/12 : RUN ls /app
 ---> Using cache
 ---> b594124672ea
Step 8/12 : COPY application.yml /app/skywalking/config/application.yml
 ---> Using cache
 ---> 10eaf0805a65
Step 9/12 : WORKDIR /app/skywalking/bin
 ---> Using cache
 ---> bc0f02291536
Step 10/12 : USER root
 ---> Using cache
 ---> 4498afca5fe6
Step 11/12 : RUN  echo "tail -f /dev/null" >> /app/skywalking/bin/startup.sh
 ---> Using cache
 ---> 1c4be7c6b32a
Step 12/12 : CMD ["/bin/sh","-c","/app/skywalking/bin/startup.sh" ]
 ---> Using cache
 ---> ecfc97e4c97d
Successfully built ecfc97e4c97d
Successfully tagged docker_skywalking:latest
Creating docker_elasticsearch_1 ... done
Creating docker_skywalking_1    ... done
Creating docker_kibana_1        ... done
Attaching to docker_elasticsearch_1, docker_kibana_1, docker_skywalking_1
elasticsearch_1  | [2018-09-17T23:51:57,886][INFO ][o.e.c.m.MetaDataCreateIndexService] [FC_bOh1] [service_metric_day] creating index, cause [api], templates [], shards [2]/[0], mappings [type]
elasticsearch_1  | [2018-09-17T23:51:57,962][INFO ][o.e.c.r.a.AllocationService] [FC_bOh1] Cluster health status changed from [YELLOW] to [GREEN] (reason: [shards started [[service_metric_day][0]] ...]).
elasticsearch_1  | [2018-09-17T23:51:58,115][INFO ][o.e.c.m.MetaDataCreateIndexService] [FC_bOh1] [application_metric_hour] creating index, cause [api], templates [], shards [2]/[0], mappings [type]
elasticsearch_1  | [2018-09-17T23:51:58,176][INFO ][o.e.c.r.a.AllocationService] [FC_bOh1] Cluster health status changed from [YELLOW] to [GREEN] (reason: [shards started [[application_metric_hour][1]] ...]).
elasticsearch_1  | [2018-09-17T23:51:58,356][INFO ][o.e.c.m.MetaDataCreateIndexService] [FC_bOh1] [application_metric_month] creating index, cause [api], templates [], shards [2]/[0], mappings [type]
elasticsearch_1  | [2018-09-17T23:51:58,437][INFO ][o.e.c.r.a.AllocationService] [FC_bOh1] Cluster health status changed from [YELLOW] to [GREEN] (reason: [shards started [[application_metric_month][0]] ...]).
elasticsearch_1  | [2018-09-17T23:51:58,550][INFO ][o.e.c.m.MetaDataCreateIndexService] [FC_bOh1] [instance_mapping_month] creating index, cause [api], templates [], shards [2]/[0], mappings [type]
elasticsearch_1  | [2018-09-17T23:52:05,544][INFO ][o.e.c.m.MetaDataCreateIndexService] [FC_bOh1] [gc_metric_minute] creating index, cause [api], templates [], shards [2]/[0], mappings [type]

从上图中可以看到 es，kibana，skywalking都启动成功了，你也可以通过docker-compose ps 看一下是否都起来了，netstat 看一下宿主机开放了哪些端口。


[root@localhost docker]# docker ps
CONTAINER ID        IMAGE                  COMMAND                  CREATED             STATUS              PORTS                                                                                                  NAMES
9aa90401ca16        kibana                 "/docker-entrypoint.…"   2 minutes ago       Up 2 minutes        0.0.0.0:5601->5601/tcp                                                                                 docker_kibana_1
c551248e32af        docker_skywalking      "/bin/sh -c /app/sky…"   2 minutes ago       Up 2 minutes        0.0.0.0:8080->8080/tcp, 0.0.0.0:10800->10800/tcp, 0.0.0.0:11800->11800/tcp, 0.0.0.0:12800->12800/tcp   docker_skywalking_1
765d38469ff1        docker_elasticsearch   "/docker-entrypoint.…"   2 minutes ago       Up 2 minutes        9200/tcp, 9300/tcp                                                                                     docker_elasticsearch_1
[root@localhost docker]# netstat -tlnp
Active Internet connections (only servers)
Proto Recv-Q Send-Q Local Address           Foreign Address         State       PID/Program name    
tcp        0      0 192.168.122.1:53        0.0.0.0:*               LISTEN      2013/dnsmasq        
tcp        0      0 0.0.0.0:22              0.0.0.0:*               LISTEN      1141/sshd           
tcp        0      0 127.0.0.1:631           0.0.0.0:*               LISTEN      1139/cupsd          
tcp        0      0 127.0.0.1:25            0.0.0.0:*               LISTEN      1622/master         
tcp6       0      0 :::8080                 :::*                    LISTEN      38262/docker-proxy  
tcp6       0      0 :::10800                :::*                    LISTEN      38248/docker-proxy  
tcp6       0      0 :::22                   :::*                    LISTEN      1141/sshd           
tcp6       0      0 ::1:631                 :::*                    LISTEN      1139/cupsd          
tcp6       0      0 :::11800                :::*                    LISTEN      38234/docker-proxy  
tcp6       0      0 ::1:25                  :::*                    LISTEN      1622/master         
tcp6       0      0 :::12800                :::*                    LISTEN      38222/docker-proxy  
tcp6       0      0 :::5601                 :::*                    LISTEN      38274/docker-proxy  
[root@localhost docker]#

然后就可以看一些8080端口的可视化UI，默认用户名密码admin，admin，一个比较耐看的UI就出来了。

三：net下的探针

从nuget上拉取一个SkyWalking.AspNetCore探针进行代码埋点，github地址：https://github.com/OpenSkywalking/skywalking-netcore

在startup类中进行注入，在页面请求中进行一次cnblogs.com的请求操作，然后仔细观察一下调用链跟踪是一个什么样子？


namespace WebApplication1
{
   public class Startup
   {
       // This method gets called by the runtime. Use this method to add services to the container.
       // For more information on how to configure your application, visit https://go.microsoft.com/fwlink/?LinkID=398940
       public void ConfigureServices(IServiceCollection services)
       {
           services.AddSkyWalking(option =>
           {
               // Application code is showed in sky-walking-ui
               option.ApplicationCode = "10001 测试站点";

               //Collector agent_gRPC/grpc service addresses.
               option.DirectServers = "192.168.23.183:11800";
           });
       }

       // This method gets called by the runtime. Use this method to configure the HTTP request pipeline.
       public void Configure(IApplicationBuilder app, IHostingEnvironment env)
       {
           if (env.IsDevelopment())
           {
               app.UseDeveloperExceptionPage();
           }

           app.Run(async (context) =>
           {
               WebClient client = new WebClient();

               var str = client.DownloadString("http://cnblogs.com");

               await context.Response.WriteAsync(str);
           });
       }
   }
}

可以看到这张图还是蛮漂亮的哈，也方便我们快速的跟踪代码，发现问题，找出问题， 还有更多的功能期待你的挖掘啦。好了，本篇就说到这里，希望对你有帮助。

dotNET跨平台
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
分布式链路追踪工具SkyWalking集成Elasticsearch(基于Docker)
01-20
前言 目前主要的一些 APM 工具有: Cat、Zipkin、Pinpoint、SkyWalking；Apache SkyWalking 是观察性分析平台和应用性能管理系统。提供分布式追踪、服务网格遥测分析、度量聚合和可视化一体化解决方案。 具体请参考 funtl.com SkyWalking 服务端配置 1、基于 Docker 安装 ElasticSearch Docker及Docker-Compose安装 Centos7(Ubuntu18.04)安装Docker 创建目录 mkdir -p /usr/local/docker/skywalking docker-compose.yml v
Docker搭建Skywalking记录
weixin_45103111的博客
04-01 450
SkyWalking 是一个分布式系统的应用程序性能监视工具，专为微服务、云原生架构和基于容器（Docker、K8s、Mesos）架构而设计。提供分布式追踪、服务网格遥测分析、度量聚合和可视化一体化解决方案。
Docker 安装 Skywalking以及UI界面
最新发布
花伤情犹在的博客
03-17 2525
本文详细阐述了如何利用Docker快速安装并运行Apache Skywalking，以实现对分布式系统的高效性能监控与可视化管理。首先，通过执行Docker pull命令从官方仓库获取Skywalking的最新稳定版镜像，确保获得最新的功能与优化。接下来，我们将详细介绍配置Docker容器的具体步骤，包括设置必要的环境变量、端口映射以及数据卷挂载，以便持久化存储Skywalking收集的监控数据和日志文件。
Skywalking(8.7)安装以及docker镜像打包
ζั͡山 ั͡有扶苏 ั͡✾的博客
01-09 1580
文档中的target/agent/，这个agent文件是，apache-skywalking-apm-bin-es7目录下的agent文件夹，我这里是提前cp到，Dockerfile打包目录下的target目录下的。这里的APP_NAME换成自己的项目名，PROFILE是你的运行环境，这边默认为test，-t后面是自己的镜像名，一般默认是私服地址+项目名+tag。这里可以看见有三个启动脚本，分别是oap启动脚本，webServer的启动脚本，和同时启动两个服务的脚本startup.sh。
docker--zipkin（分布式链路追踪）实践
hijunmeng的专栏
04-04 4307
docker–zipkin（分布式链路追踪）实践 文章目录docker--zipkin（分布式链路追踪）实践前言下载镜像运行镜像，并指定存储引擎spring-cloud-starter-zipkin中已包含了spring-cloud-starter-sleuth与spring-cloud-sleuth-zipkin的依赖，所以使用sleuth-zipkin的SpringCloud项目只需添加spr...
docker部署skywalking
whhjay1986的博客
01-07 176
# skywalking-es以elasticsearch集群作为数据存储 elasticsearch集群请参考docker部署es集群 ```shell sudo docker run --name skywalking -d -p 1234:1234 -p 11800:11800 -p 12800:12800 --restart always -e TZ=Asia/Shanghai -e SW_STORAGE=elasticsearch -e SW_STORAGE_ES_CLUSTER_NODES=.
Docker构建分布式集群视频教程
04-28
第2章 RR开源前后端分离项目下载与配置，第4章 搭建MySQL集群，第5章 搭建Redis集群
docker开发分布式系统的手动实战
06-23
使用docker开发分布式系统的手动实战，对于初学者来说是一个很不错的选择
用Docker构建分布式Redis集群
06-06
用Docker构建分布式Redis集群 【编者的话】本文介绍了如何使用Docker搭建Redis集群，很多读者都在问Docker能带来哪些实质性的好处，我想本文就是一个很好的例子。不使用Docker你也可以搭建Redis集群，那使用Docker后...
基于Mesos和Docker的分布式计算平台
01-30
本文将介绍数人科技基于Mesos和Docker的分布式计算平台的实践。针对“互联网+”时代的业务增长、变化速度及大规模计算的需求，廉价的、高可扩展的分布式x86集群已成为标准解决方案，如Google已经在几千万台服务器上...
SkyWalking介绍和Docker环境下部署
HOKING的专栏
01-08 2759
Skywalking是一个国产的开源框架，2015年由吴晟个人开源，2017年加入Apache孵化器，国人开源的产品，主要开发人员来自于华为，2019年4月17日Apache董事会批准SkyWalking成为顶级项目，支持Java、.Net、NodeJs等探针，数据存储支持Mysql、Elasticsearch等，跟Pinpoint一样采用字节码注入的方式实现代码的无侵入，探针采集数据粒度粗，但性能表现优秀，且对云原生支持，目前增长势头强劲，社区活跃。整个架构，分成上、下、左、右四部分。
生产稳定：基于docker 搭建skywalking8.6.0-es7 链路追踪和JVM监控平台，钉钉告警，skywalking搭建
做技术，贵在学习与坚持！
10-12 3397
最近项目中需要做微服务架构服务链路追踪和JVM监控平台，对比了几个组件平台，最终选择了SkyWalking，【分布式系统的应用程序性能监控工具，专为微服务、云原生和基于容器（Docker、Kubernetes、Mesos）架构而设计。】 官网地址：https://skywalking.apache.org/ 相关版本： skywalking-oap：skywalking-oap-server:8.6.0-es7 skywalking-ui：skywalking-ui:8.6.0 skywalking-apm
基于Docker部署Skywalking
z5591650的博客
07-17 359
基于Docker部署Skywalking
Elasticsearch集群状态灯代表含义
万物皆可学
07-18 493
了解指示灯状态之前需要先了解下什么是分片和副本。
docker-compose实现本地微服务镜像链接到Skywalking
weixin_41990082的博客
04-21 1077
1、Dockerfile文件配置skywalking-agent # 基础镜像 FROM frolvlad/alpine-java:jdk8-slim # 维护者信息 MAINTAINER itibia # 设置容器时区为当前时区 RUN /bin/cp /usr/share/zoneinfo/Asia/Shanghai /etc/localtime \&& echo 'Asia/Shanghai' >/etc/timezone # /tmp 目录作为容器数据卷目录，Spri
ElasticSearch单机健康状况为黄色的解决方法
热门推荐
ROI_kun的博客
10-30 1万+
在学习过程中，我安装了Elasticsearch单机，配置过程具体不说，启动也没问题，但是在查看健康状况的时候出现了问题，健康状况为黄色，先说下E的健康状况的三种情况 green 最健康得状态，说明所有的分片包括备份都可用 yellow 基本的分片可用，但是备份不可用（或者是没有备份） red 部分的分片可用，表明分片有一部分损坏。此时执行查询部分数据仍然可以查到，但是要尽快解决 问题： curl...
skywalking—docker镜像构建k8s部署
代码界的扛把子
05-19 987
前言 skywalking是个非常不错的apm产品，但是在使用过程中有个非常蛋疼的问题，在基于es的存储情况下，es的数据一有问题，就会导致整个skywalking web ui服务不可用，然后需要agent端一个服务一个服务的停用，然后服务重新部署后好，全部走一遍。这种问题同样也会存在skywalking的版本升级迭代中。而且apm 这种过程数据是允许丢弃的，默认skywalking中关于trace的数据记录只保存了90分钟。故博主准备将skywalking的部署容器化，一键部署升级。下文是整个...
『Skywalking』在Docker中快速部署Skywalking
老陈聊架构
07-22 2817
📣读完这篇文章里你能收获到， 在Docker中快速部署Skywalking
docker部署分布式mysql
06-02
部署分布式 MySQL 可以使用 Docker 容器化部署，以下是具体步骤： 1. 创建 MySQL 镜像 首先需要创建一个 MySQL 镜像，并配置好分布式相关的配置，比如使用 MySQL Cluster 等。可以基于官方的 MySQL 镜像进行修改...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值