loki 实践分享

loki 实践分享

前段时间公司要做一个日志分析查询系统，一开始计划使用常见的ELK，后来调研发现Grafana推出的loki优点很多并且比较符合公司的实际情况（日志量大保存时间长），遂转向调研loki的相关使用，由于网上资料较少，所以想写一篇文章来记录一下，分享给大家。

简介：

• loki是 Grafana Labs团队最新的开源项目，是一个水平可扩展（说实话loki的水平拓展还是比较复杂的），高可用性，多租户的日志聚合系统。它的设计非常经济高效且易于操作，因为它不会为日志内容编制索引，而是为每个日志流编制一组标签。项目受Prometheus 启发，官方的介绍就是：Like Prometheus, but for logs.，类似于 Prometheus的日志系统。

一、优势

与其他日志聚合系统相比，Loki具有下面的一些特性：

• 不对日志进行全文索引。Loki中存储的是压缩后的非结构化日志，并且只对元数据建立索引，因此Loki 具有操作简单、低成本的优势。
• 使用与 Prometheus 相同的标签。Loki通过标签对日志进行索引和分组，这使得日志的扩展和操作效率更高。
• 特别适合储存 Kubernetes Pod 日志。诸如 Pod 标签之类的元数据会被自动删除和编入索引。
• Grafana 原生支持
• 个人认为loki相对于elk最大的优势还是存储的占用大大减少，实测日志压缩后存储占比仅为原始日志的15% - 20%左右，但是查询性能确实比不了elk。

二、架构

Loki 日志系统由以下3个部分组成：

• loki是主服务器，负责存储日志和处理查询。
• promtail是专为loki定制的代理，负责收集日志并将其发送给 loki 。
• Grafana用于 UI展示。