使用elasticsearch作为存储引擎部署jaeger

最新推荐文章于 2024-08-19 14:59:40 发布

weixin_34345560

最新推荐文章于 2024-08-19 14:59:40 发布

阅读量1.7k

点赞数 1

文章标签：大数据运维 json

原文链接：https://my.oschina.net/u/2548090/blog/1821372

版权

本文档介绍了如何使用Elasticsearch作为存储引擎来部署Jaeger分布式追踪系统。主要内容包括Jaeger的背景、组件介绍、使用Docker部署Jaeger各组件（Agent、Collector、Query）的详细步骤，特别是针对Elasticsearch的配置。此外，还涉及了Jaeger的端口说明和依赖组件的安装。

摘要由CSDN通过智能技术生成

2019独角兽企业重金招聘Python工程师标准>>>

使用elasticsearch作为存储引擎部署jaeger

由于网上大部分文章部署jaeger都是使用Cassandra,使用elasticsearch较少，而我主要是使用elasticsearch来部署的，下面是我的一些使用总结，欢迎指针，沟通邮箱：jiububulunxian@163.com

前言

随着公司的发展，业务不断的增加，模块的不断拆分，系统间业务调用就变得越复杂，对定位线上故障带来很大困难。整个调用链不透明，犹如系统被蒙上一块黑纱，当线上遇到故障时，整个技术部就陷入痛苦的漩涡。这时候分布式追踪系统应运而生，如揭开了黑纱，让阳光照进黑暗。

Opentracing相关文档

分布式追踪系统Jaeger

Jaeger是Uber开发的一套分布式追踪系统，已在Uber大规模使用。并在2017-9-13 加入CNCF 开源组织。使用Jaeger可以非常直观的展示整个分布式系统的调用链，由此可以很好发现和解决问题：

jaeger架构

jaeger官网网址

https://www.jaegertracing.io/docs/

jaeger github地址

https://github.com/jaegertracing/jaeger

jaeger 部署

使用docker部署官网资料和网站资料比较多，不过都是使用cassandra作为存储引擎，并且一般文章并没有给出具体的建表语句，官网文档也没有找到建表语句！

如果你需要使用cassandra作为存储引擎的话，这篇文章仅供参考：https://blog.csdn.net/niyuelin1990/article/details/80225305

文章中有对应的导入jaeger表结构部门：

导入Jaeger表结构，这里不得不吐槽一下Jaeger！Jaeger二进制安装包里根本没有数据sql文件，而且没有任何文档告诉你SQL文件在哪里找，没安装文档！我表示是崩溃的，最终在源码目录的一个角落中找到SQL文件，路径展示一下：

$GOPATH/src/github.com/jaegertracing/jaeger/plugin/storage/cassandra/schema/v001.cql.tmpl
12
格式：
cqlsh -h HOST -p PORT -f fileName
cqlsh 10.100.7.46 -f $GOPATH/src/github.com/jaegertracing/jaeger/plugin/storage/cassandra/schema/v001.cql.tmpl 123

上面的命令是我搜索来的，因为在导入之前我已经手动一条一条加进去了(＞﹏＜)!如果不好用的话，读者可以直接cqlsh一条一条黏上去！！！！

下面本文将介绍如何使用elasticsearch存储引擎部署jaeger！

Jaeger组件

Agent

Agent是一个网络守护进程，监听通过UDP发送过来的Span，它会将其批量发送给collector。按照设计，Agent要被部署到所有主机上，作为基础设施。Agent将collector和客户端之间的路由与发现机制抽象了出来。

Collector

Collector从Jaeger Agent接收Trace，并通过一个处理管道对其进行处理。目前的管道会校验Trace、建立索引、执行转换并最终进行存储。存储是一个可插入的组件，现在支持Cassandra和elasticsearch。

Query

Query服务会从存储中检索Trace并通过UI界面进行展现，该UI界面通过React技术实现，其页面UI如下图所示，展现了一条Trace的详细信息。

存储

jaeger采集到的数据必须存储到某个存储引擎，目前支持Cassandra和elasticsearch

docker + elasticsearch安装

首先，你安装jaeger时,需要使用docker环境，

然后使用docker安装一个elasticsearch

docker run -d --name elasticsearch --restart=always -p 9200:9200 -p 9300:9300 -e ES_JAVA_OPTS="-Xms512m -Xmx512m" elasticsearch:latest

注意:

1、此elasticsearch为单机版且数据存内存，若生产环境，请自行解决如何使用docker安装elasticsearch集群并且数据写入磁盘,elasticsearch版本请选择5.X，原因如下（github issues:https://github.com/jaegertracing/jaeger/issues/665）

jaeger elasticsearch版本请使用5.X的版本，官网上虽然说明使用5.X和6.X都行，但是亲测使用6.2.4的es,会出现数据丢失:collector将数据写入elsasticsearch时会出现索引已存在的报错:

error："trace_id":"89c90e9c1bc48622","span_id":"89c90e9c1bc48622","error":"elastic: Error 400 (Bad Request): index [jaeger-span-2018-05-27/5JHNIPoLRBe3c560r7FJlQ] already exists [type=resource_already_exists_exception]

若你需要把elsticsearc 9200暴露到公网上，你注意Elasticsearch服务安全加固，可参考：https://www.sojson.com/blog/213.html

2、请使用docker安装elasticsearch，若未使用docker安装，下一步安装collector时会出现报错：