软件工程之美学习笔记三十九 38 | 日志管理：如何借助工具快速发现和定位产品问题 ？

《软件工作之美》材料地址： https://time.geekbang.org/column/article/97682

什么是日志管理？

日志管理就是指对系统和应用程序产生的日志进行处理的方法，包括对日志进行统一收集，对日志数据进行筛选和解析，统一存储，还要让它们可以方便被检索。

如何快速发现和定位问题？

首先，日志集中式管理后，就可以方便地对所有日志进行统一的检索。
然后，对日志进行集中式管理后，可以通过图表直观的看到应用运行情况。
最后，可以根据日志的数值设置规则自动报警。

大厂的日志管理系统的架构是什么样子？

参考

• 阿里云：《基于 ELK 实时日志分析的最佳实践》
• 新浪：《ELK Stack 在新浪微博的最佳实践》
• 新浪：《新浪是如何分析处理 32 亿条实时日志的？》
• 七牛：《如何快速搭建智能化的统一日志管理系统》

ELK介绍：
（可以参考我的博客《从Filebeat到Logstash再到Elasticsearch,如何搭建ELK 日志平台》）

• 日志采集和解析
• 存储和搜索
• 结果可视化
• 监控和报警：ELK 可以通过插件的方式，安装像 ElastAlert 或Watcher这样的自动报警插件，实现自动报警功能。
  
  （图片来源：Build your own error monitoring tool)

怎样搭建一套日志管理系统？

• ELK 本身是一套开源免费的工具，除了 ELK，还有一些类似的工具可以选择，可以和 ELK 配合使用。
• Splunk Splunk 是一套商业的日志管理系统，搜索功能非常强大，操作方便，就目前来说，要比 ELK 好用，但价钱很高。
• Grafana Grafana 是一套开源的数据监测和可视化工具，可以和 ELK 或 Splunk 配合使用，展示效果比 Kibana 要更好。同时可以支持自动报警功能。
• Wavefront Wavefront 是 VMware 旗下的一款商业的图形化监控和分析工具，可以从 ELK 或 Splunk 等数据源收集数据，在此基础上分析应用的性能瓶颈所在，排除故障。也支持自动报警。
• PagerDuty PagerDuty 是一套报警服务，不仅可以和手机、邮件、Slack等方便的集成，还可以和企业的轮值安排结合，按照排班顺序呼叫当值人员。

我的留言

我写过一遍关于ELK的博文《从Filebeat到Logstash再到Elasticsearch,如何搭建ELK 日志平台》，敬请指正。
老师回复: 感谢分享，已拜读。这一篇是关于如何搭建系统的，后续是不是还会有基于这个系统集成应用程序日志，以及对应用程序监控的文章？期待：）