2018-03-17 各种日志处理工具

Graylog - 日志聚合工具的后起之秀

日志管理日志管理工具：收集，解析，可视化
1. Elasticsearch - 一个基于Lucene的文档存储，主要用于日志索引、存储和分析。
2. Fluentd - 日志收集和发出
3. Flume - 分布式日志收集和聚合系统
4. Graylog2 - 具有报警选项的可插入日志和事件分析服务器
5. Heka - 流处理系统，可用于日志聚合
6. Kibana - 可视化日志和时间戳数据
7. Logstash -管理事件和日志的工具
8. Octopussy -日志管理解决方案（可视化/报警/报告）

Graylog与ELK方案的对比：
- ELK: Elasticsearch + Logstash + Kibana
- Graylog: Elasticsearch + Graylog Server + Graylog Web

之前试过Flunted + Elasticsearch + Kibana的方案，发现有几个缺点：
1. 不能处理多行日志，比如Mysql慢查询，Tomcat/Jetty应用的Java异常打印
2. 不能保留原始日志，只能把原始日志分字段保存，这样搜索日志结果是一堆Json格式文本，无法阅读。
3. 不复合正则表达式匹配的日志行，被全部丢弃。