SkyWalking链路追踪-Collector(收集器)

Collector(收集器)

SkyWalking的Collector(收集器)是SkyWalking链路追踪的核心组件之一。它负责接收来自各个Agent的追踪数据,并将其存储到数据存储器(如数据库)中。具体来说,Collector提供了一个统一的接口,用于接收和处理从Agent发送过来的数据。

Collector的主要功能包括:

  1. 数据接收:Collector提供接口和服务来接收来自Agent的Trace数据。它可以监听指定的网络端口或通过其他通信方式接收数据。一旦收到Trace数据,Collector会进行处理和存储。

  2. 数据分析和处理:收到Trace数据后,Collector会进行数据的分析和处理。它会解析Trace数据的格式,并提取其中的关键信息,比如Trace ID、Span信息、时间戳等。Collector还可以进行数据的转换、聚合和归档,以满足不同的分析和监测需求。

  3. 数据存储:Collector将处理后的Trace数据存储到指定的数据存储器中,如数据库。存储过程中,Collector会根据预定义的数据模型和结构将数据进行组织和存储,以支持后续的查询和分析。

  4. 数据查询和展示:存储后的Trace数据可以通过查询和展示工具进行访问和分析。Collector提供查询接口或集成第三方工具,以支持Trace数据的查询、过滤、可视化等操作。通过这些工具,用户可以深入了解应用程序的调用链路、性能指标和异常情况。

  5. 高可用和扩展性:Collector可以运行在多个实例或集群中,以实现高可用性和扩展性。多个Collector实例可以共同接收和存储Trace数据,提高系统的容错和性能。Collector之间可以进行数据的同步和负载均衡,以实现高效的数据处理和存储。

Collector解决的问题

在链路追踪的流程中,Collector起到了核心作用,并解决了以下问题:

  1. 数据收集和存储:Collector负责接收和存储来自Agent的Trace数据。它通过接口和服务接收Trace数据,并将其存储到指定的数据存储器中,如数据库。这样,Collector实现了Trace数据的集中收集和持久化存储。

  2. 数据分析和查询:Collector通过对Trace数据的分析和处理,提取其中的关键信息和指标。它可以对Trace数据进行转换、聚合和归档,以满足不同的分析和监测需求。通过查询接口或集成第三方工具,用户可以对存储在Collector中的Trace数据进行查询和分析,深入了解应用程序的调用链路、性能指标和异常情况。

  3. 高可用和扩展性:Collector可以运行在多个实例或集群中,以实现高可用性和扩展性。多个Collector实例可以共同接收和存储Trace数据,提高系统的容错和性能。Collector之间可以进行数据的同步和负载均衡,以实现高效的数据处理和存储。这样,Collector解决了在大规模和复杂系统中的Trace数据处理和存储的问题。

通过Collector的工作,链路追踪系统可以实现对应用程序的调用链路、性能指标和异常情况的全面监测和分析。它可以帮助开发人员和运维人员深入了解应用程序的运行情况,快速定位和解决问题,提高系统的稳定性和性能。同时,Collector还提供了对Trace数据的存储和查询功能,方便用户进行更深入和细粒度的数据分析和展示。

链路追踪流程:

  1. Agent 收集 Trace 数据。
  2. Agent 发送 Trace 数据给 Collector 。
  3. Collector 接收 Trace 数据。
  4. Collector 存储 Trace 数据到存储器,例如,数据库。

后三个都涉及到了collector

使用Collector的逻辑步骤

要配置SkyWalking Collector,需要按照以下步骤进行操作:

  1. 下载和安装:首先,需要下载SkyWalking Collector的发布版本,并将其安装在系统中。可以从SkyWalking官方网站或GitHub仓库中获取最新版本的Collector。

  2. 配置文件:在安装完成后,需要编辑Collector的配置文件,以配置Collector的行为和参数。配置文件通常是以.properties或.yml格式存在的,可以根据自己的需要选择适合的格式。可以根据具体的需求进行配置参数的调整,比如网络端口、数据存储方式、数据存储器的连接信息等。

  3. 存储方式:根据需求,选择合适的存储方式来存储Trace数据。Collector支持多种存储方式,比如内存、数据库(如MySQL、Elasticsearch等)、消息队列等。可以根据您的系统架构和要求选择最合适的存储方式。

  4. 数据查询和展示:如果计划使用SkyWalking提供的默认Web界面来查询和展示Trace数据,需要配置Collector的Web控制台。可以为Web控制台设置访问地址、用户名、密码等参数。

  5. 运行Collector:在完成配置后,可以启动Collector,并监视其运行状态和日志输出。确保Collector能够正常运行,并成功接收和处理来自Agent的Trace数据。

总的来说,配置SkyWalking Collector主要包括下载安装、编辑配置文件、选择存储方式和配置Web控制台等步骤。根据具体需求和系统架构,可以进行相应的配置参数调整,以满足对Trace数据的收集、存储、查询和展示的需求。

补充相关文档传送门

SkyWalking链路追踪中Trace概念以及Trace与span的关系_艺舟先生的博客-CSDN博客

SkyWalking链路追踪中span全解_艺舟先生的博客-CSDN博客

如果你喜欢这个免费软件,请MAIL一封信以对我的支持。 Collector资料收集管理器 V4.1 Collector资料收集管理器能够把您收集的文本、网页、图片等资料都存放在一起,统一管理的绿色免费软件。 使用系统图标,支持大容量数据库,支持拖拉操作,采用视窗风格,目录树结构管理,所见即所得的设计理念,操作方便。 上网浏览网页时允许通过定制IE的右键菜单来方便收集网页、图片和文字。 本软件特色是可以直接把整个网页保存成MHT或JPG格式的文件,独特的收集网页图片模式。 本地导入速度一流,比其它同类的软件都快很多(可以在网上找一个同类软件导入过万条记录比较)。 是一个非常实用的电子书制作工具;可以把数据库文件转换成可执行文件(*.exe),也可以制作成CHM文件。 您可以给书籍文件或者节点设置密码。 可以实时备份数据库,可查看修改记录,保证你的数据安全。 免费分享数据库。 附带一个例子数据库,里面有使用方法。 讨论Collector 资料收集管理器的QQ群号码 27585577 论坛 http://14500001.blog.163.com/ http://user.qzone.qq.com/14500001 V4.1版本 更新日期 2010-03-20 更新内容 1、调整菜单; 2、修正批量改节点功能; 3、添加另存数据库功能; 4、修正对实时备份数据库的判断。 更新日期 2010-01-04 更新内容 1、升级数据库版本,支持更多功能; 2、使用SQLite数据库(RTB)进行实时备份数据库,数据库(HDF)打开始加载。 2、全新界面,可改变布局和改变皮肤; 3、查询状态下可修改数据; 4、EXE电子书文件可自定义图标。 更新日期 2009-03-24 21:00:00 更新内容 1、修正新建数据库的一个问题; 2、改写保存数据库方式; 更新日期 2009-02-21 23:45:00 更新内容 1、修正不允许运行多个Collector时,程序最小化无法密码保护问题; 2、修正制作EXE电子书的一个问题; 3、添加收集网页时先对数据进行校验再导入,防止导入空数据破坏节点; 4、修正判断OFFICE是否安装的问题。 2008-10-15 16:35:00 更新内容 1、一些微小的改动 2、修正软件在数据库只读环境下导出的问题 2008-08-25 更新内容 1、添加翻页阅读; 2、添加批量改名; 3、添加闹钟提醒; 4、添加最小化到任务栏; 5、添加保存时检查索引。 2008-08-01 16:10:00 更新内容 1、修正由于空文件夹无法生成CHM电子书的问题; 2008-07-17 更新内容 1、修正导出CHM文件每个目录的连接。 2008-07-10 更新内容 1、修正判断是否安装OFFICE的问题; 2、优化收集网页(htm格式)代码。 2008-06-26 14:30:00 更新内容 1、修正收集某些网页时无法浏览的问题; 2008-06-19 14:15:00 更新内容 1、修正收集网页时某些图片无法显示问题; 2、修正收集图片排序问题; 更新日期 2008-05-09 14:00:00 更新内容 1、修正新建数据库新建文件提示密码问题; 更新日期 2008-04-24 15:30:00 更新内容 1、修正新建数据库导入本地文件提示密码问题; 2、修正无法打开只读属性文件的问题; 3、修正回收站无法导出CHM问题; 4、...... 更新日期 2008-04-16 15:00:00 更新内容 1、更换文本文件编辑,支持语法高亮显示; 2、添加网页编辑功能; 3、使用软件自身做电子书执行文件,大大减少软件大小。 4、..... 更新日期 2008-03-14 16:00:00 更新内容 1、支持OFFICE2007最新的XLSX、DOCX、PPTX格式文件。 2、添加回收站功能。 3、添加节点排序功能。 4、修正一个加密问题。 5、修正按内容搜索后,切换到编辑窗口后不能编辑。 更新日期 2008-03-04 10:30:00 更新内容 1、添加读书模式(文本类型文件); 2、添加自定义调用外部编辑器编辑功能(文本类型文件); 3、修正修改节点(文件夹)备注会损坏节点图标问题; 4、添加记忆悬浮窗位置功能; 5、修正收集图片时收集窗体无法最前端功能(IE7); 6、加快调用QQ抓图速度; 7、修改导入本地文件不是在选中节点下的问题 更新日期 2008-02-23 14:00:00 更新内容 1、修改截图,使用最新的QQ截图功能; 2、修正加载数据库时的一个问题; 3、判断是否使用OFICE2007,对OFFICE2007,不再使用IE打开方式。 更新日期 2008-02-01 15:50:00 更新内容 1、修正打开数据库CPU占用率很高的问题 2008-01-25 11:00:00 更新内容 1、添加...... 2、添加抓图到文本文件功能,保存时需要转为RTF格式。 3、修正只读打开还能添加数据的问题。 2007-12-29 1、添加书签保存、管理功能 2、修正一个损坏节点问题 3、添加编辑文本的一些功能 4、添加数据库列表功能 5、修正一些小问题 更新日期 2007-12-21 1、修正网页滚动抓图问题 更新日期 2007-12-15 1、添加最小化到托盘选项 2、添加启动显示悬浮窗选项 3、添加更改软件所在文件夹图标选项 4、添加判断导入网页路径是否重复功能 5、添加支持从网页(暂时只文本)或图片拖拉到悬浮窗保存 6、修改软件内部拖拉功能(按Ctrl或Alt和不按功能不同) 7、修改软件启动的语言为上次选择的语言 8、添加关闭程序不提示备份选项 9、添加导入TXT文件取第一行内容为标题功能 更新内容(重要提示:请及时备份数据) 2007-11-18 11:25:00 修正一个导入文件会损坏节点问题; 修正修改节点密码; 修正....... 2007-10-16 1、减少IE右键菜单(需重新创建到IE浏览器右键菜单才能生效) 2、添加收集时可编辑节点信息。 2007-10-10 15:55:00 1、添加word文件显示常用、格式工具栏及不显示审阅工具栏 2、添加Excel、PowerPoint文件显示常用、格式工具栏 2007-09-16 16:00:00 美化界面 自动提示版本更新 修正编辑文本保存的问题(之前是OK的) 2007-09-11 13:50:00 修正节点标题的复制粘贴问题 修正密码框焦点问题 修正菜单导入文件时只有exe文件的错误(之前是OK的) 2007-09-09 修正显示目录栏宽度问题; 修正自身复制监视剪贴板的问题; 修正收集网页图片的一个小问题。 V2.9 2007-09-06 17:00:00 添加调用OFFICE打开EXCEL、WORD、PowerPoint文件功能,而且修改后能自动回存到数据库。 修正浏览文本时TAB键不可用的问题。 添加最前端按钮。 添加直接调用QQ和作者交流; 2007-08-24 13:25:00 添加节点有附件时图标异样显示 2007-08-15 10:50:00 修正新建一个数据库时不能新建一个目录或文件 2007-08-10 15:45:00 1、添加修改文本的一些功能。 2、修正文本状态下设标题错误问题; 2.85 1、修正在VISTA下MHT格式收集网页无内容显示问题。 2.84 1、修正在VISTA下无法使用问题。 2.83版本 1、修正一些搜索问题; 2、添加新建根目录文件菜单。 2.82版本 1、修正在搜索数据库时导入本地文件会导致节点损坏的问题; 2、加快加载数据库。 3、改删除节点快捷方式为DEL键。 2.81版本 1、修正合并数据库会导致数据库损坏的问题; 2.8版本 1、添加内嵌打开、修改、保存EXCEL、WORD、PowerPoint文件功能(需要安装OFFICE); 2、添加内嵌打开PDF文件功能(需要安装PDF软件); 3、修正繁体下的一些问题。 4、添加图片预览功能; 5、修正一个会导致数据库损坏的问题; 6、修正几个小问题。 2.7版本 1、修改下载功能,添加HTTP代理模式; 2、添加标题着色功能; 3、修改收集网页(Htm)格式方法; 4、右键收集可以选择导入当前目录; 2.6版本 1、添加下载数据库功能。 2、创建或清除快捷方式无须重新打开ie。 3、修改加载图标算法,超速打开数据库。 打开数据库后请使用修复图标功能,再次打开才能体现。 2.5版本 1、添加附件功能; 2、自定义抓图压缩率。 3、添加下载数据库功能。 4、创建或清除快捷方式无须重新打开ie。 2.4版本 1、添加最小化密码保护; 2、自定义滚动抓图刷新时间。 3、修正导出有重名的文件的问题。 4、修正查询HTM格式文件问题。 5、修正下载问题。 2.3版本 1、添加制作EXE格式电子书功能; 2、修正节点标题粘贴问题。 3、修正合并2.2版本数据库HTM格式的文件无法浏览的情况。 4、修改TXT文件被修改转为RTF的提示。 .... 2.2版本 1、修改保存网页HTM方式; 2、添加选择多张图片保存成HTM方式; 3、添加简单的图像编辑功能; 4、修改数据库结构(打开旧版本数据库会自动转换),添加文件备注; 注意:新版本数据库不能使用旧版本软件打开。 5、添加收集网页时自动保存功能; 6、...... 2.1版本 1、修改抓图方式,改为调用QQ链接库抓图(无需安装QQ); 2、修正在2003下抓网页为JPG图片不全问题; 3、修正在XP下导入网页图片节点添加问题; 4、搜索状态下添加导出功能; 5、添加数据库所在磁盘空间不足时导入过多数据提示; 6、修改在线升级; 7、添加节点手动排序; 8、加大悬浮窗口; 9、标题栏可以使用系统右键菜单(剪切粘贴复制); 10、在菜单中添加书签功能; 11、在菜单中添加导入功能; 12、添加清除软件在系统中的所有痕迹功能; 2.0版本 1、修正在WIN98下程序在根目录运行出错的问题; 2、修正在繁体系统下语言版本的问题; 3、添加在文档中插入图片和插入附件功能; 4、添加在线升级功能; 5、添加重要更能:支持所有文件类型; 6、添加自定义热键功能; 7、添加多种选项把保存网页成图片。 8、修改抓图模式。 9、修正一些错误。 1.9版本 1、添加导出数据生成程序数据库HDF格式功能。 2、修正合并数据库没有考虑到合并的数据库密码问题; 3、修正旧版本选择不压缩的数据库转为新版本的数据库浏览时数据出错的问题。 4、把hha.dll和hhc.exe这两个文件打包进执行文件。 5、添加制作CHM文件选项。 6、美化菜单; 使用技巧 1、务必要看例子数据库的使用方法。 2、浏览网页如果乱码,请取消使用流浏览,IE5.0版本不支持MHT文件格式请使用IE5.5或以上版本。 3、最小化可以双击右下角的图标来显示主窗体。 4、收集网页数据时最好先把一个数据库关联到我的最爱,这样就可以在软件没有运行的状态下点击IE右键菜单直接启动软件导进设好的数据库里面,无须先启动软件。注意:软件可以同时运行多个,收集网页时请只运行一个。 5、如果你想修改左边目录文件的标题,可以把在右边选中的文字拖拉过去就行了,文本网页都可以。 6、请经常备份数据库。 7、如果没有图片的网页不推荐保存成MHT格式,因为MHT格式文件大,而且打开耗内存(这是IE的问题)。 8、如果你删除了脚本文件,请重新创建IE快捷方式。 1.8版本 1、添加合并数据库功能; 2、添加是否允许运行多个程序功能; 3、添加选择压缩方式功能; 4、优化内存使用; 5、修正从菜单功能中导进文件数据对不上的问题; 6、修正添加无内容文件时的BUG; 7、添加只读打开功能(要设置密码); 1.7版本 1、修改数据库格式,添加一些数据库信息,程序会把旧数据库自动转换到新版本的数据库格式,在同目录下面有后缀名为OLD的原数据库的备份文件,以防万一出错。 2、新版本已经把Collector.ini放到可执行文件的当前目录,而且新版本还有一个language文件夹和desktop.ini、Collector.ico两个文件。 3、添加清除本软件在注册表的信息,如果你不想用本软件可以选中清除软件痕迹菜单。 4、添加生成CHM格式功能(需要把hha.dll和hhc.exe这两个文件放在和Cellector.exe同一目录) 5、添加记录导进文件的路径功能。 6、添加书签功能,没有限制书签数目,搜索时也可以使用。 7、添加导入和其它一些菜单。 8、添加一些小功能和修正一些错误。 在例子数据库里添加了生成CHM文件和把网页抓图保存成JPG文件的源代码,希望各位指点。 1.6版本 1、添加浏览网页时把网页抓图保存成JPG文件功能(针对单框架网页); 2、添加设定数据库密码功能; 3、添加热键抓图功能(ALT+A); 4、添加最小化窗体或显示功能(ALT+Z); 5、修正把大网页保存成MHT文件出错的问题; 1.5版本 1、添加浏览网页时放大网页功能; 2、修正由于输入法引起的一个错误; 3、优化收集网页代码,改为直接使用内存流,加快导入速度。 1.4版本 1、重写使用IE右键收集网页的代码,能很好的收集网页(可以和其它软件对比看看结果),大大加强了IE收集功能, 2、添加把网页保存成文本功能, 3、添加支持RTF文件, 4、添加备份数据功能, 5、大幅度提高了打开数据库的速度, 6、修正了一次性导进超过5万条记录出错的BUG, 注意:1.4版本IE收集功能改变太大,如果使用了之前的版本 第一,删除Collector.exe根目录下面的*.htm文件,替换使用新版本的Collector.exe文件。 第二,手工删除IE右键带☆号的菜单(使用其它软件),运行本程序再重新创建IE右键菜单。  默认支持以下类型 .HTM;.HTML;.HTX;.HTW;.MHT;.MHTML;.SHTML;.XML;.EML;.SWF;.PHP;.TXT;.RTF;.JPEG;.JPG;.GIF;.BMP;.TIFF;.PCX;.ICO;.CUR;.PNG;.WMF;.EMF;.TGA;.PXM;.TIF;.XIF;.JPE;.JIF;.JFIF;.DCX;.ANI;
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值