日志拉取客户端
logstash、flume
日志存储中间件缓存:
kafka
日志实时处理
flink,storm,spark都可以
处理结果存放:
es,hbase,redis
业内实现
- 开源的 Open Tracing
openTracing是为了解决不同系统之间的兼容性设计的,现在也成为了各个第三方Trace系统的依赖的规范。
-
Twitter的 Zipin
-
阿里 鹰眼
-
大众点评 (Cat)[https://github.com/dianping/cat]
这是开源的产品
- Microsoft Application insights
-
-
比如阿里的鹰眼架构:
使用Storm集收集和分类日志数据,然后将简单分析完的数据一方面写进Hbase供实时查询,一方面将全量的日志写进HDFS,使用hadoop集群对这些数据进行统计计算,经过鹰眼的服务器把数据渲染展示出来。