前言
上个篇章中我们主要介绍了OpenTelemetry
的客户端的一些数据生成方式,但是客户端的数据最终还是要发送到服务端来进行统一的采集整合,这样才能看到完整的调用链,metrics等信息。因此在这个篇章中会主要介绍服务端的采集能力。
客户端数据上报
客户端会根据一定的规则生成调用链,metrics,logs等信息,然后就会将其推送到服务器远端。一般来说OpenTelemetry
的服务端客户端传递数据的请求协议标准是Http
和Grpc
协议,在各语言的sdk以及服务端实现中都应该包含这两个数据协议的的实现。
按照常理来说调用链等数据的数据量极大,因此在客户端就会有一些类似于Batch
的操作选项,此选项会将多个Span信息整合到一起一并发送,以减小网络端的损耗。
客户端的这种数据上报我们会统称为export
,同时,实现这些上报的组件我们统一称作exporters
。exporters
会包含不同种的数据协议和格式,默认的格式为OTLP
。
OTLP
OTLP
是指OpenTelemetry Protocol
,即OpenTelemetry
数据协议。OTLP
规范规定了客户端和服务采集端之间的遥测数据的编码,传输和投送。
OTLP
在实现上分为OTLP/gRPC
和OTLP/HTTP
。
OTLP/HTTP
OTLP/HTTP
在数据传输的时候支持两种模式:二进制和json
二进制使用proto3
编码标准,且必须在请求头中标注Content-Type: application/x-protobuf
JSON格式使用proto3
标准定义的JSON Mapping
来处理Protobuf
和JSON
之间的映射关系。
OTLP/gRPC
普通请求:在客户端和服务端建立连接后,客户端可以持续不断的发送请求到服务端,服务端会一一回应。 并发请求:客户端可以在服务端未回应前发送下一个请求,以此提高并发量。
Collector
Collector简介
OpenTelemetry
提供了开源的Collector
来进行客户端数据的上报采集,处理和输出。otel collector
是一个支持了多种协议,多种数据源的“万能”采集器。可以说是你能想到的很多数据源他都能够直接支持。
otel collector
使用golang实现,到文章目前编写的时候已经发布了1.0.0的rc版本。Collector
区分为了两个项目