loki + promtail + grafana搭建日志收集

loki + promtail + grafana搭建日志收集

部署环境说明

IP	组件
http://192.168.146.18/	loki&promtail
其他服务器	promtail

loki安装部署

地址：https://github.com/grafana/loki/releases/

下载对应的loki

mkdir loki #创建文件夹
groupadd loki
useradd -g loki loki #创建用户和用户组

下载loki配置文件

wget https://raw.githubusercontent.com/grafana/loki/master/cmd/loki/loki-local-config.yaml

上传loki的zip包至loki目录中

unzip loki.zip #解压
rm loki.zip
chown -R loki:loki /home/software/loki/ #配置用户及用户组

修改配置文件

vim loki-local-config.yaml 

auth_enabled: false

server:
  http_listen_port: 3100
  grpc_listen_port: 9096

common:
  path_prefix: /tmp/loki
  storage:
    filesystem:
      chunks_directory: /tmp/loki/chunks
      rules_directory: /tmp/loki/rules
  replication_factor: 1
  ring:
    instance_addr: 192.168.146.18 #修改的位置
    kvstore:
      store: inmemory

schema_config:
  configs:
    - from: 2020-10-24
      store: boltdb-shipper
      object_store: filesystem
      schema: v11
      index:
        prefix: index_
        period: 24h

ruler:
  alertmanager_url: http://192.168.146.18:9093 #修改的位置

创建Systemd服务启动loki

vim /etc/systemd/system/loki.service

[Unit]
Description=loki
Documentation=https://grafana.com/oss/loki/
After=network.target
[Service]
User=loki
Group=loki
Type=simple
ExecStart=/home/software/loki/loki --config.file=/home/software/loki/loki-local-config.yaml
Restart=on-failure
[Install]
WantedBy=multi-user.target

promtail安装部署

地址：https://github.com/grafana/loki/releases/

下载对应的promtail

mkdir promtail #创建文件夹
groupadd promtail
useradd -g promtail promtail #创建用户和用户组

下载promtail配置文件

wget https://raw.githubusercontent.com/grafana/loki/main/clients/cmd/promtail/promtail-local-config.yaml

上传promtail的zip包至promtail目录中

unzip promtail.zip #解压
rm promtail.zip
chown -R promtail:promtail /home/software/promtail/ #配置用户及用户组

修改配置文件

vim promtail-local-config.yaml 

server:
  http_listen_port: 9080
  grpc_listen_port: 0

positions:
  filename: /home/software/promtail/positions.yaml #修改的位置

clients:
  - url: http://localhost:3100/loki/api/v1/push #修改的位置

scrape_configs:
- job_name: system
  static_configs:
  - targets:
      - localhost #修改的位置
  - labels:
      job: varlogs
      __path__: /var/log/*log
  - labels: #修改的位置 添加labels
      job: grafana
      __path__: /var/log/grafana/*

如过没有修改配置文件中的positions.yaml目录先启动了在其他目录生成了该文件 建议移动tmp目录下positions.yaml文件至promtail目录下再修改配置文件和设置用户和用户组 否则可能会启动失败

mv /tmp/positions.yaml /home/software/promtail

创建Systemd服务启动promtail

vim /etc/systemd/system/promtail.service

[Unit]
Description=promtail
Documentation=https://grafana.com/oss/loki/
After=network.target
[Service]
User=promtail
Group=promtail
Type=simple
ExecStart=/home/software/promtail/promtail --config.file=/home/software/promtail/promtail-local-config.yaml
Restart=on-failure
[Install]
WantedBy=multi-user.target

grafana测试

导入数据源loki

在export下切换数据源到loki

进行查询

另可参考我另一篇文章：https://blog.csdn.net/qq_43801592/article/details/122967880?spm=1001.2014.3001.5501