windows本地 Loki+Promtail+Grafana

windows本地 Loki+Promtail+Grafana

一、总体介绍

• 在现代的监控和可观察性系统中，实时日志聚合、存储和可视化是至关重要的。而 Loki、Promtail 和 Grafana 正是在这一领域中备受赞誉的三个开源工具，它们的结合能够为我们提供强大的日志管理和可视化解决方案。
• Loki 是由 Grafana Labs 开发的一个水平可扩展、高可用性、多租户的日志聚合系统。Loki 专注于存储和索引日志数据，并通过一种名为 “LogQL” 的查询语言高效地检索日志数据。与传统的逐行索引不同，Loki 将日志组织成流，并使用标签进行过滤和查询，从而提高了效率和成本效益。
• Promtail 是与 Loki 协同工作的日志收集代理。它负责从各种源头收集日志并将其转发到 Loki 进行存储。Promtail 支持多种日志格式，可以从文件中读取日志，从远程源（如 syslog 或 systemd）抓取日志，甚至处理容器日志收集。它还可以为日志条目添加标签，方便后续根据特定标签进行过滤和查询。
• Grafana 是一个功能强大的开源数据可视化和分析平台，它与多种数据源集成，包括 Loki。它提供了丰富的功能，用于构建自定义仪表板、探索和分析数据以及创建警报。Grafana 允许您实时可视化来自 Loki 的日志数据，创建交互式可视化，并根据日志查询结果设置警报。

二、演示环境

1. 本机运行环境为windows10
2. 收集指定目录下面不同文件的日志，后缀为 .out

三、下载安装组件

3.1 安装Loki

# 1.程序下载，windows版选择下载 
#   下载地址：https://github.com/grafana/loki/releases/
#   下载版本：2.8.2
#   文件名称：loki-windows-amd64.exe.zip

# 2.下载完成后解压得到  loki-windows-amd64.exe

3.2 安装Promtail

# 1.程序下载，windows版选择下载 
#   下载地址：https://github.com/grafana/loki/releases/
#   下载版本：2.8.2
#   文件名称：promtail-windows-amd64.exe.zip 

# 2.下载完成后解压得到  promtail-windows-amd64.exe 

3.3 安装Grafana

# 1.程序下载，windows版选择下载
#   下载地址：https://grafana.com/grafana/download?platform=windows
#   下载版本：9.5.2  开源版本OSS  zip压缩包
#   文件名称：grafana-9.5.2.windows-amd64.zip

# 2.下载完成后解压得到  grafana-9.5.2

四、编写配置文件

4.1 Loki配置文件 loki-config.yaml

server:
  # 启动端口
  http_listen_port: 3100
schema_config:
  configs:
    - from: 2021-08-01
      store: boltdb
      object_store: filesystem
      schema: v11
      index:
        prefix: index_
        period: 24h
ingester:
  lifecycler:
    # 本地ip
    address: 127.0.0.1
    ring:
      kvstore:
        store: inmemory
      replication_factor: 1
    final_sleep: 0s
  chunk_idle_period: 5m
  chunk_retain_period: 30s

storage_config:
  boltdb:
  	# 存储地址
    directory: D:/Java/practice/loki/store/index
  filesystem:
  	# 存储地址
    directory: D:/Java/practice/loki/store/chunks

limits_config:
  enforce_metric_name: false
  reject_old_samples: true
  reject_old_samples_max_age: 168h
  # 每个用户每秒的采样率限制
  ingestion_rate_mb: 32
  # 每个用户允许的采样突发大小
  ingestion_burst_size_mb: 64


chunk_store_config:
  # 最大可查询历史日期 28天,这个时间必须是schema_config中的period的倍数，否则报错。
  max_look_back_period: 672h
# 表的保留期28天
table_manager:
  retention_deletes_enabled: true
  retention_period: 672h

4.2 Promtail配置文件 promtail-local-config.yaml

server:
  # 启动端口
  http_listen_port: 9080
  grpc_listen_port: 0

positions:
  # 日志读取位置
  filename: D:/Java/practice/loki/config/positions.yaml

# 推送Loki地址，租户id
clients:
  - url: http://127.0.0.1:3100/loki/api/v1/push
    tenant_id: tenant1

scrape_configs:
  - job_name: system
    pipeline_stages:
    static_configs:
      # 标签
      - labels:
          job: eisp
          host: 127.0.0.1
          # 读取日志的目录
          __path__: D:/Java/practice/loki/logs/*.out

五、启动组件

5.1 启动Loki

# 启动指定配置文件的目录
$ ./loki-windows-amd64.exe --config.file=config/loki-config.yaml

5.2 启动Promtail

# 启动指定配置文件的目录
$ ./promtail-windows-amd64.exe --config.file=config/promtail-local-config.yaml

5.3 启动Grafana

# 双击 grafana-9.5.2/bin 目录下的 grafana-server.exe

# 运行地址 http://localhost:3000
# 初始账号密码 admin/admin 登录后重置密码

六、界面配置Grafana

添加数据源

配置URL

接下来，还有一个关键参数一定要加。在Header上添加X-Scope-OrgID参数，参数值根据实际情况填写，默认tenant1,然后点击[Save&test]

截止到目前，数据源已经配置成功。

接下来做最简单的日志查看

以上查看out文件的信息。

接下来启动实时模式，使用echo模拟写入日志。Grafana启用Live模式

七、到这里就全部讲述完毕，附上网盘资料

链接：https://pan.baidu.com/s/1i5XFJSgzb6blGz9ZJnQbxg?pwd=uz99
提取码：uz99