分布式系统日志收集与追踪

日志收集

分布式系统的日志收集通常采用ELK实现，但是Logstash一般不支持高并发，所以通过kafka来削峰，通过filebeat或者flume收集日志到kafka。

很明显分布式系统每个服务的日志都会传输到Elasticsearch上，怎么获取一次请求链路所有服务的日志呢？需要用到全局log_id,最简单的方案是在网关层设置每次请求的log_id,后续所有服务都获取这个log_id打印到日志里面去。

日志追踪

分布式系统一次请求链路涉及多个服务，怎么统计每个服务调用的耗时等信息呢？这是日志追踪组件要解决的问题。

日志追踪组件更多的是请求链路的监控，不涉及日志，但是和日志收集有一个共同点，都需要给每次请求分配一个全局id，所以一般配合着使用。如果不需要日志追踪，只需要在网关层拦截每次请求，分配全局id，后面的每个服务打印日志的时候带上这个全局id即可。

关系

日志追踪目的是监控每次请求链路的各个服务调用耗时等信息，如果发现一个服务调用特别慢，就可以全局id去kibana搜索这次请求链路的所有链路查找问题所在，前提是ELK的日志id和日志追踪组件的全局id是一致的。