如何在 Kubernetes 中无侵入安装 OpenTelemetry 探针

最新推荐文章于 2024-08-21 09:06:16 发布
最新推荐文章于 2024-08-21 09:06:16 发布
阅读量180 收藏
点赞数
文章标签： kubernetes 容器 云原生
原文链接：https://mp.weixin.qq.com/s?__biz=MzI3MTI2NzkxMA==&mid=2247536455&idx=1&sn=45457c130d914e689edd1f2aed4104a3&chksm=ebe1d2384d206de326ec2e370d1d81f20a6dde523eea92e22a0e4325f36864c8530b4f95c7ae&scene=126&sessionid=0
版权

公众号关注 「奇妙的 Linux 世界」

设为「星标」，每天带你玩转 Linux ！

c08d8cd85747e64e4abce2636b9586ec.png

背景

OpenTelemetry 探针

fdbb85d77767b0c99058990a1a5690f1.png

OpenTelemetry（简称 Otel，最新的版本是 1.27） 是一个用于观察性的开源项目，提供了一套工具、APIs 和 SDKs，用于收集、处理和导出遥测数据（如指标、日志和追踪信息）。

应用程序遥测数据（如追踪、指标和日志）的收集是通过探针来完成的，探针通常以库的形式集成到应用程序中，自动捕获重要信息协助监控和调试。OpenTelemetry 探针支持市面上大多数的编程语言，探针的安装（通常被称为插桩，Instrumentation）分为手动和自动两种方式。

  • 手动插桩：指开发者直接在其应用程序代码中显式地添加遥测数据收集的代码，需要手动完成 SDK 初始化、插入追踪点、添加上下文信息等一系列操作。

  • 自动插桩：利用 OpenTelemetry 提供的库自动捕获应用程序的遥测数据，无需或只需很少的代码更改。比如，Java 通过 `javaagent` 实现探针的自动安装[1]。

二者各有优劣：手动插桩适用于需要高度定制和精确控制遥测数据收集的场景；自动插桩适合快速启动和简化集成，特别是在使用标准框架和库的应用程序中。

OpenTelemetry Operator 介绍

OpenTelemetry Operator[2] 是一个为了简化 OpenTelemetry 组件在 Kubernetes 环境中的部署和管理而设计的 Kubernetes Operator。

OpenTelemetry Operator 通过 CRD（OpenTelemetryCollector[3]、Instrumentation[4]、OpAMPBridge[5]） 实现在 Kubernetes 集群中自动部署和管理 OpenTelemetry Collector；在工作负载中自动安装 OpenTelemetry 探针。

今天我们就将体验如何使用 OpenTelemetry Operator 自动安装探针，实现链路跟踪。

演示

架构

这是演示的架构，Otel 提供了 多种语言的 instrumentation SDK[6]，这篇文章中我们将使用 Java 和 Go 两种语言的应用。这两种语言会使用全自动和半自动的注入安装：

  • Java 全自动注入安装，Otel Operator 通过使用 init container 引入 sdk ，并通过 JAVA_TOOL_OPTIONS 来指定 javaagent 来插桩。这里将使用 pinakispecial/spring-boot-rest 镜像来运行一个简单的 Spring Boot REST 服务。

  • Go 半自动注入安装，为什么是半自动？Go 的全自动是通过 eBPF 的方式实现的：在 Pod 注入独立的容器，加载 BPF 程序。但是 eBPF 的实现对内核要求十分苛刻 5.4 - 5.14。这里演示半自动的方式：手动引入 Go instrumentation SDK[7]，自动注入配置[8]。

0266196101a0f115336bd1b526eacf5a.png

Jaeger

为了便于演示这里使用 jaegertracing/all-in-one 镜像来部署 Jaeger，这个镜像包含了 Jaeger 收集器、内存存储、查询服务和 UI 等组件，非常适合开发和测试使用。

通过环境变量 COLLECTOR_OTLP_ENABLED 启动对 OTLP（OpenTelemetry Protocol）[9] 的支持。

kubectl apply -f - <<EOF
apiVersion: apps/v1
kind: Deployment
metadata:
  name: jaeger
spec:
  replicas: 1
  selector:
    matchLabels:
      app: jaeger
  template:
    metadata:
      labels:
        app: jaeger
    spec:
      containers:
      - name: jaeger
        image: jaegertracing/all-in-one:latest
        env:
        - name: COLLECTOR_OTLP_ENABLED
          value: "true"
        ports:
        - containerPort: 16686
        - containerPort: 14268
---
apiVersion: v1
kind: Service
metadata:
  name: jaeger
spec:
  selector:
    app: jaeger
  type: ClusterIP
  ports:
    - name: ui
      port: 16686
      targetPort: 16686
    - name: collector
      port: 14268
      targetPort: 14268
    - name: http
      protocol: TCP
      port: 4318
      targetPort: 4318
    - name: grpc
      protocol: TCP
      port: 4317
      targetPort: 4317      
EOF

安装 cert-manager

Otel Operator 依赖 cert-manager 进行证书的管理，安装 operator 之前需要安装 cert-manager。

kubectl apply -f https://github.com/cert-manager/cert-manager/releases/download/v1.13.2/cert-manager.yaml

安装 OpenTelemetry Operator

执行下面命令安装 Otel Operator

kubectl apply -f https://github.com/open-telemetry/opentelemetry-operator/releases/latest/download/opentelemetry-operator.yaml

配置 OpenTelemetry Collector

通过创建 CR OpenTelemetryCollector 来配置 Otel 的采集器，这里我们配置了：

  • otel 接收器：支持 grpc（端口 4317）和 http（端口 4318）

  • memory_limiter 和 batch 处理器，但是为了方便快速查看数据，这两个并没有启用，仅作展示用。

  • debug 和 otlp/jaeger 的输出器，分别用于在标准输出中打印信息和使用 otlp 协议输出到 Jaeger。

  • pipeline 服务，用于配置跟踪数据的处理流程：接收、处理和输出。

kubectl apply -f - <<EOF
apiVersion: opentelemetry.io/v1alpha1
kind: OpenTelemetryCollector
metadata:
  name: otel
spec:
  config: |
    receivers:
      otlp:
        protocols:
          grpc:
          http:
    processors:
      memory_limiter:
        check_interval: 1s
        limit_percentage: 75
        spike_limit_percentage: 15
      batch:
        send_batch_size: 10000
        timeout: 10s

    exporters:
      debug:
      otlp/jaeger:
        endpoint: "jaeger.default:4317"
        tls:
          insecure: true

    service:
      pipelines:
        traces:
          receivers: [otlp]
          processors: []
          exporters: [debug,otlp/jaeger]
EOF

创建 CR OpenTelemetryCollector 后，Otel Operator 会创建一个 deployment 和 多个 service。

kubectl get deployment,service -l app.kubernetes.io/component=opentelemetry-collector
NAME                             READY   UP-TO-DATE   AVAILABLE   AGE
deployment.apps/otel-collector   1/1     1            1           12h

NAME                                TYPE        CLUSTER-IP      EXTERNAL-IP   PORT(S)                               AGE
service/otel-collector              ClusterIP   10.43.152.81    <none>        4317/TCP,4318/TCP,8889/TCP,9411/TCP   12h
service/otel-collector-headless     ClusterIP   None            <none>        4317/TCP,4318/TCP,8889/TCP,9411/TCP   12h
service/otel-collector-monitoring   ClusterIP   10.43.115.103   <none>        8888/TCP                              12h

Collector 部署的四种部署模型[10] Deployment、DaemonSet、StatefulSet、Sidecar，默认为 Deployment。

配置 Instrumentation

Instrumentation 是 Otel Operator 的另一个 CRD，用于自动安装 Otel 探针和配置：

  • propagators 用于配置跟踪信息在上下文的传递方式。

  • sampler 采样器

  • env 和 [language].env 添加到容器的环境变量

更多配置说明，请参考 Instrumentation API 文档[11]。

kubectl apply -f - <<EOF
apiVersion: opentelemetry.io/v1alpha1
kind: Instrumentation
metadata:
  name: instrumentation-sample
spec:
  propagators:
    - tracecontext
    - baggage
    - b3
  sampler:
    type: parentbased_traceidratio
    argument: "1"
  env:
    - name: OTEL_EXPORTER_OTLP_ENDPOINT
      value: otel-collector.default:4318
  java:    
    env:
      - name: OTEL_EXPORTER_OTLP_ENDPOINT
        value: http://otel-collector.default:4317   
EOF
Java 示例应用

为 Pod 添加注解 instrumentation.opentelemetry.io/inject-java: "true" 通知 Otel Operator 该应用的类型以便注入正确的探针。

kubectl apply -f - <<EOF
apiVersion: apps/v1
kind: Deployment
metadata:
  name: java-sample
spec:
  replicas: 1
  selector:
    matchLabels:
      app: java-sample
  template:
    metadata:
      labels:
        app: java-sample
      annotations:
        instrumentation.opentelemetry.io/inject-java: "true"
    spec:
      containers:
      - name: java-sample
        image: pinakispecial/spring-boot-rest
        ports:
        - containerPort: 8080
EOF

可以看到 Otel Operator 向 Pod 中注入了一个 otel 的初始化容器。

17689bca5475fbd1f68f7bcf4f970ef7.png

以及在 java 容器中注入了一系列的环境变量进行配置。

8e9cf540118e25b507af4ad26df0f1c3.png
Go 示例应用

前面提到 Go 语言的自动注入演示使用半自动的方式，与本文的标题不符，属于嵌入式的。我写了一个 简单的 Go 应用[12]，使用手动的方式来安装 Otel 探针，有兴趣的可以查看源码。

kubectl apply -f https://raw.githubusercontent.com/addozhang/http-sample/main/manifests/service-v1.yaml

查看 Pod 同样可以看到通过环境变量的方式注入的 Otel 配置。

测试

pod_name="$(kubectl get pod -n default -l app=service-a -o jsonpath='{.items[0].metadata.name}')"
kubectl port-forward $pod_name 8080:8080 &

curl localhost:8080
service-a(version: v1, ip: 10.42.0.68, hostname: service-a-5bf98748f5-l9pjw) -> service-b(version: v1, ip: 10.42.0.70, hostname: service-b-676c56fb98-rjbwv) -> service-c(version: v1, ip: 10.42.0.69, hostname: service-c-79985dc75d-bh68k)

发送请求后，打开 Jaeger UI。

jaeger_pod="$(kubectl get pod -l app=jaeger -o jsonpath='{.items[0].metadata.name}')"
kubectl port-forward $jaeger_pod 16686:16686 &

Bingo!

访问 Jaeger UI 就可以看到这个访问的链路信息了。

ecf61020a12d67a31db86dd377292f2c.png

参考资料

[1] 

Java 通过 javaagent 实现探针的自动安装: https://opentelemetry.io/docs/instrumentation/java/automatic/

[2] 

OpenTelemetry Operator: https://opentelemetry.io/docs/kubernetes/operator/

[3] 

OpenTelemetryCollector: https://github.com/open-telemetry/opentelemetry-operator/blob/main/docs/api.md#opentelemetrycollector

[4] 

Instrumentation: https://github.com/open-telemetry/opentelemetry-operator/blob/main/docs/api.md#instrumentation

[5] 

OpAMPBridge: https://github.com/open-telemetry/opentelemetry-operator/blob/main/docs/api.md#opampbridge

[6] 

多种语言的 instrumentation SDK: https://opentelemetry.io/docs/instrumentation/

[7] 

手动引入 Go instrumentation SDK: https://github.com/addozhang/http-sample/blob/main/otel.go

[8] 

自动注入配置: https://github.com/open-telemetry/opentelemetry-operator/blob/main/README.md#opentelemetry-auto-instrumentation-injection

[9] 

OTLP（OpenTelemetry Protocol）: https://opentelemetry.io/docs/specs/otlp/

[10] 

Collector 部署的四种部署模型: https://github.com/open-telemetry/opentelemetry-operator#deployment-modes

[11] 

Instrumentation API 文档: https://github.com/open-telemetry/opentelemetry-operator/blob/main/docs/api.md#instrumentation

[12] 

简单的 Go 应用: https://github.com/addozhang/http-sample

本文转载自：「云原生指北」，原文：https://url.hi-linux.com/5ghY0，版权归原作者所有。欢迎投稿，投稿邮箱: editor@hi-linux.com。

1d96587d5309ed38ded94dcfee043360.gif

最近，我们建立了一个技术交流微信群。目前群里已加入了不少行业内的大神，有兴趣的同学可以加入和我们一起交流技术，在 「奇妙的 Linux 世界」 公众号直接回复 「加群」 邀请你入群。

ecd91ef4c11d75e17b3dcf76fda6ccad.png

你可能还喜欢

点击下方图片即可阅读

80b89edb5c839344e42cf180eacb4d61.jpeg

Github 星标 14.7K，又一款颜值爆表、比 Tmux、Screen 更好用的终端多路复用利器

8942bb5531c2fd43209969d9d1669f4a.png
点击上方图片，『美团|饿了么』外卖红包天天免费领

c44c6b88a0d7cf7366dd05362a12cb14.png

更多有趣的互联网新鲜事，关注「奇妙的互联网」视频号全了解！

运维之美
关注
【APM】在Kubernetes中，使用Helm安装OpenTelemetry 0.97.0（无侵入式）
CN_Eden
05-13 559
OpenTelemetry 是一个开源的、全面的可观测性框架，旨在为云原生及传统应用提供标准化的方式来生成、收集、处理和导出遥测数据，包括跟踪（Traces）、度量（Metrics）和日志（Logs）。这个项目由 Cloud Native Computing Foundation (CNCF) 孵化，目标是简化和统一观测性数据的收集与分析，从而提高开发人员在分布式系统中调试和监控应用的能力。
构建新一代的K8s原生Java微服务+Quarkus实战
热门推荐
Java 技术专栏，从入门到精通，熟悉企业级开发
10-18 2万+
过去几年来，Quarkus 作为一种微服务开发框架大为流行，而Eclipse MicroProfile 也持续演进成一组Java 微服务开发API。本书详细介绍如何基于MicroProfile 和Spring API新建、开发和调试Quarkus 微服务，并部署到Kubernetes 上。 除了微服务的开发和部署，本书还涵盖Kubernetes 微服务的其他方方面面，比如应用健康管理、监控、可观测性、安全性以及API 可视化。
在 Kubernetes 中无侵入安装 OpenTelemetry 探针
hanfengzxh的博客
12-13 376
是一个为了简化 OpenTelemetry 组件在 Kubernetes 环境中的部署和管理而设计的 Kubernetes Operator。OpenTelemetry Operator 通过 CRD（） 实现在 Kubernetes 集群中自动部署和管理 OpenTelemetry Collector；在工作负载中自动安装 OpenTelemetry 探针。今天我们就将体验如何使用 OpenTelemetry Operator 自动安装探针，实现链路跟踪。
开源项目：NGINX OpenTelemetry 模块安装与使用指南
gitblog_00115的博客
08-16 937
开源项目：NGINX OpenTelemetry 模块安装与使用指南 nginx-otel项目地址:https://gitcode.com/gh_mirrors/ng/nginx-otel 项目介绍 NGINX OpenTelemetry 模块是为NGINX设计的一个扩展，旨在集成OpenTelemetry这一分布式追踪系统。该模块自NGINX Open Source 1.25.2及NGINX...
opentelemetry之php-Automatic Instrumentation环境安装及接入.md
qq_40977791的博客
04-13 361
php Automatic Instrumentation接入openpelemetry
使用ELK搭建日志平台（四）：使用 OpenTelemetry SDK
YongMa的博客
06-16 2226
什么是OpenTelemetry？ OpenTelemetry合并了OpenTracing和OpenCensus项目，提供了一组API和库来标准化遥测数据的采集和传输 使用OpenTelemetry SDK OpenTelemetry .NET https://github.com/open-telemetry/opentelemetry-dotnet 打开VS2019（Version 16.9.7）创建项目Demo.OpenTelemetry，使用模板 ASP.NET Core Web..
基于 eBPF 的 Kubernetes 可观测实践
阿里云云栖号
09-05 806
阿里云可观测团队构建了 kubernetes 统一监控，无侵入式地提供多语言、应用性能黄金指标，支持多种协议，结合 Kubernetes 管控层与网络系统层监控，提供全栈一体式的可观测体验。通过流量拓扑、链路、资源的关系，可进行关联分析，进一步提升在 Kubernetes 环境下排查问题的效率。
深度解析｜基于 eBPF 的 Kubernetes 一站式可观测性系统
阿里云技术
04-07 328
阿里云 Kubernetes 可观测性是一套针对 Kubernetes 集群开发的一站式可观测性产品。基于 Kubernetes 集群下的指标、应用链路、日志和事件，阿里云 Kubernetes 可观测性旨在为 IT 开发运维人员提供整体的可观测性方案。
阿里云刘洋：基于eBPF的Kubernetes可观测最佳实践
m0_46700908的博客
09-13 1371
eBPF技术为可观测打开了新的大门
在Kubernetes上部署OpenTelemetry收集器
lfcncf的博客
02-02 1455
10人将获赠CNCF商店$100美元礼券！ 你填了吗？ 问卷链接（https://www.wjx.cn/jq/9714648…） 作者：Juraci Paixão Kröhling OpenTelemetry 收集器是一个二进制程序，通常作为代理部署在运行业务应用程序的主机上，但是现在越来越多的应用程序运行在像 Kubernetes 这样的容器平台上。 在 Kubernetes 上运行 OpenTelemetry 收集器需要什么呢？ OpenTelemetry 收集器项目附带了一个示例文件以供 Kub
使用opentelemetry搭建全链路追踪系统
gdutlhh的专栏
04-08 1183
由于项目是分布式微服务架构系统，为了实现服务的可观察性，决定搭建一套可观测的系统。由于我们当前使用的是go，而opentelemetry标准也是目前比较推荐的，并且其支持多语言，于是就想到用otel来搞了。废话不多说，进入主题。
k8s学习(三十八) 使用OpenTelemetry+jaeger实现链路追踪
文若书生的专栏
08-19 1104
OpenTelemetry 可以用于从应用程序收集数据。它是一组工具、API 和 SDK 集合，我们可以使用它们来检测、生成、收集和导出遥测数据（指标、日志和追踪），以帮助分析应用的性能和行为。
OpenTelemetry 中文文档教程
最新发布
gitblog_00795的博客
08-21 808
OpenTelemetry 中文文档教程 docs-cnOpenTelemetry 中文文档: 接入使用、技术标准、RFC、SDK等. 项目地址:https://gitcode.com/gh_mirrors/docs/docs-cn 项目介绍 OpenTelemetry 是一个开源的观测性框架，旨在提供一套标准化的 API、库、代理和收集器，用于生成、收集、传输和分析遥测数据（如追踪、指标和日志...
使用 OpenTelemetry 和 Jaeger 使用 MinIO 进行分布式跟踪
分享身边生活经验blog
09-24 1194
几年前，当你有一个单体应用程序时，调试和诊断相当容易，因为可能只有一个服务有几个用户。如今，系统被分解为更小的微服务，这些微服务部署在 Kubernetes 之上的容器中，分布在不同云环境的多个集群中。在这些类型的分布式环境中，需要观察所有情况，包括整体情况，如果需要，还需要在更细粒度的级别上进行观察。可观察性大致可以分为三个子类别：日志记录、度量和跟踪。在这篇博文中，我们将向您展示在新的或现有的 MinIO 应用程序中设置跟踪是多么简单。我们将构建一个小型 MinIO 应用程序来执行一些基本请求；
开源项目：OpenTelemetry 社区指南
gitblog_00796的博客
08-07 444
开源项目：OpenTelemetry 社区指南 communityOpenTelemetry community content项目地址:https://gitcode.com/gh_mirrors/community269/community 1. 项目介绍 OpenTelemetry 是一个开放源码的软件包，用于生成和收集应用程序性能监控数据。它提供了一组通用的 API 和 SDK，支持多种...
OpenTelemetry系列 - 第2篇 Java端接入OpenTelemetry
罗小爬的技术宝书
12-02 5111
目录一、架构说明二、方式1 - 自动化2.1 opentelemetry-javaagent.jar（Java8+ ）2.2 使用opentelemetry-javaagent.jar完成自动注入2.3 配置opentelemetry-javaagent.jar2.4 使用注解（@WithSpan, @SpanAttribute）2.5.1 代码集成@WithSpan, @SpanAttribute2.5.2 禁用已标注@WithSpan的方法的自动注入：2.5.3 不修改代码的情况下启用@WithSpan
opentelemetry实践
kevin的专栏
11-24 4067
场景描述 根据 open-telemetry提供的exampleshttps://github.com/open-telemetry/opentelemetry-collector-contrib/tree/main/examples/demo 假设我们有两个服务，一个是demo-server，一个是demo-client，demo-client会周期性调用demo-server，我们希望可以采集到demo-server与demo-client之间的监控数据，包括请求延迟和请求数统计（demo里面也提.
OpenTelemetry Operator 最佳实践
观测云的博客
12-20 2225
观测云采集器 DataKit 的引进了 OpenTelemetry 设计理念，兼容了OTLP 协议的，可以绕过 OpenTelemetry Collector ，直接将数据推送给 DataKit ，也可以把 OpenTelemetry Collector 的 exporter 设置为 OTLP ，地址指向 DataKit。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值