架构设计之日志系统

日志用途

• 每日归档：按不同服务模块名称提供下载。
• 实时分析：提供多维分析，问题排查和监控报警。
• 聚合计算：按需显示数据结果。
• 离线分析：复杂的数据模型分析，定期生成报表。

日志收集常见方式

• 脚本：日志文件定时或定量切割上报。
• Logstash
• Heka Agent
• Nginx
• nsqd

非健康日志有哪些

• 速率慢的请求
• 后端结点重试了的请求
• 发送出去的字节数和文件长度Content-Length不一致
• 非正常响应

关于日志聚合计算

• 全量收集CDN边缘请求指标，实时上报，聚合计算，查询
• 支持多种时间维度的数据展示
• 支持域名，服务名称，用户名查询
• 支持复杂查询（Top N，列表）

Mark。