TDH日志分析

一、TDH日志分析系统的特点

1.高吞吐量：可以达到每秒数万条日志，日收集量数十亿跳
2.低延时：秒级以下
3.横向扩展：可以扩展满足业务增长需求
4.不丢数据：保证数据在每一步至少一次被上传成功
5.日志可以检索分析：使用Elasticsearch的检索引擎

二、TDH日志分析组件的架构

1.收集：
		a）日志分布在各个服务所在的机器上，需要统一收集。
		b) TDH日志分析组件采用轻量的 filebeat 作为代理运行在服务所在的机器对日志进行收集。
		c) Filebeat 简单高效，只做一件事情就是收集日志，性能和吞吐量都很高，对于宿主机占用资源也低。
2.分发：
		a) 收集端收集到日志后，通过消息队列做缓存和分发
		b) TDH 日志分析组件采用 kafka 作为缓存和分发站，可以起到削峰的作用。
3.处理
		a) 日志在入库前，做一个预处理，把信息抽取出来。
		b) TDH 日志分析组件采用 logstash 对于每条数据进行预处理。逐条提取有用的信息。
4. 检索
		a) TDH 日志分析组件采用 Elasticsearch 作为检索引擎。
5. 展现
		a) TDH 日志分析组件采用 kibana 作为用户界面。
		b) Kibana 提供了方便的接口对日志检索和查询，同时可以建立报表，对日志进行日常分析。

架构图

集群部署：

1. Filebeat：作为日志收集端，需要在生产集群的每台机器都部署一个 daemon 服务。
2. Kafka：按需部署，一般一个 3 节点的集群。
3. Kafka Manger: 可选，一个服务即可，用来可视化管理 kafka 集群。
4. Logstash: 一般部署 3 个服务实例，但是不要求在不同的节点，可以随着业务需求动态增加。
5. Elasticsearch: 按需部署，一般一个 3 节点的集群。
6. Kibana：部署一个服务。