hubot mysql_WiFeng的博客

在ELK常规的使用模式下，我们收集Nginx访问日志是按照单行进行的。这样比如说有10个用户请求，对应在ElasticSearch中就是10条记录(也称为10个document)。下面将分别描述此种收集方法的优缺点。

首先，这样的收集方式非常利于按照指定字段去搜索，并根据匹配的记录去查看其它字段的信息。比如统计客户端IP为 127.0.0.1 的请求有多少，使用IPhone 手机的请求有多少。当出现 499 、502 状态码时，看看这些请求的URL是什么，然后快速定位问题。这些方法都是非常非常实用而且好用的。

其次，除了上面的这些需求之外，我们还想要制作统计图，比如统计按时间范围统计总请求数，4xx 数量，5xx数量，响应时间超过 500ms的请求数，输出的字节数量，平均响应时间。特别是最后2项，时间范围跨度越长，数据量越大，计算时间就越长。据我们实际使用中的数据量，单个索引，每天 3亿的文档数量，对应就有120G左右的数据，在单个dashboard中同时展示上面的几种图标，如果时间跨度超过1小时，页面加载时间就会超过 2s 。而kibana又提供了自动刷新功能，这样如果有多个人同时使用 elasticsearch就会咔咔的慢。