基于pinpoint改造的一种方式的思考(2)--collector 的数据处理

前言

在前一篇文章中，我们探讨了如何改造 agent到collector的方式。在这篇文章中，我们将具体讲讲collector 的数据处理。

架构

上图所示，数据经过压缩达到Collector。
1.此时我们队监控数据进行数据清洗，数据合并的工作，注意这里无需做数据的详细处理，讲数据打成块。这里的块指的是讲各个mecury数据合并再次压缩成大块，这点极其重要。
2.我们将数据提供消息队列(可以是nats，nsq，kafka等)数据分发到实时计算单元，并保持元数据到hbase。
3.实时计算对元数据提取有效数据，并根据报警策略将报警结果提供Email,短信发送到Owner。这里实时计算单元我们可以借助Spark，当然也可以直接简单实现。
4.离线计算以分钟为维度，进行数据计算链路结果，中间过程，入库到hbase和mysql
5.最后apmUi通过查询数据展示监控数据，报警策略，全链路展示。

总结

通过上面的架构，我们的改造的apm基本雏形已经成型。那么后续我们还有哪些需要思考。

1、业务监控：基于业务Id实时查询和监控报警
2、监控所以不同服务状态，通过监控指标服务升降级
3、App端监控，Web监控，跨语言监控