再见笨重的ELK！这套轻量级日志收集方案要火！

实现这套日志收集方案需要安装Loki、Promtail、Grafana这些服务，直接使用docker-compose来安装非常方便。

• 使用的docker-compose.yml脚本如下，直接使用docker-compose命令运行即可；

version: “3”

services:

日志存储和解析

loki:

image: grafana/loki

container_name: lpg-loki

volumes:

• /mydata/loki/:/etc/loki/

修改loki默认配置文件路径

command: -config.file=/etc/loki/loki.yml

ports:

• 3100:3100

日志收集器

promtail:

image: grafana/promtail

container_name: lpg-promtail

volumes:

将需要收集的日志所在目录挂载到promtail容器中

• /mydata/app/mall-tiny-loki/logs/:/var/log/

• /mydata/promtail:/etc/promtail/

修改promtail默认配置文件路径

command: -config.file=/etc/promtail/promtail.yml

日志可视化

grafana:

image: grafana/grafana

container_name: lpg-grafana

ports:

• 3000:3000

复制代码

• 由于我们把Loki和Promtail的配置文件挂载到了宿主机上，在运行之前，需要先准备好这两个配置文件；

• Loki的配置文件/mydata/loki/loki.yml内容如下，使用的是默认配置（可以先不挂载配置文件运行Loki的Docker容器，然后从容器中拷贝出来即可）；

auth_enabled: false

server:

http_listen_port: 3100

ingester:

lifecycler:

address: 127.0.0.1

ring:

kvstore:

store: inmemory

replication_factor: 1

final_sleep: 0s

chunk_idle_period: 1h # Any chunk not receiving new logs in this time will be flushed

max_chunk_age: 1h # All chunks will be flushed when they hit this age, default is 1h

chunk_target_size: 1048576 # Loki will attempt to build chunks up to 1.5MB, flushing first if chunk_idle_period or max_chunk_age is reached first

chunk_retain_period: 30s # Must be greater than index read cache TTL if using an index cache (Default index read cache TTL is 5m)

max_transfer_retries: 0 # Chunk transfers disabled

schema_config:

configs:

• from: 2020-10-24

store: boltdb-shipper

object_store: filesystem

schema: v11

index:

prefix: index_

period: 24h

storage_config:

boltdb_shipper:

active_index_directory: /loki/boltdb-shipper-active

cache_location: /loki/boltdb-shipper-cache

cache_ttl: 24h # Can be increased for faster performance over longer query periods, uses more disk space

shared_store: filesystem

filesystem:

directory: /loki/chunks

compactor:

working_directory: /loki/boltdb-shipper-compactor

shared_store: filesystem

limits_config:

reject_old_samples: true

reject_old_samples_max_age: 168h

chunk_store_config:

max_look_back_period: 0s

table_manager:

retention_deletes_enabled: false

retention_period: 0s

ruler:

storage:

type: local

local:

directory: /loki/rules

rule_path: /loki/rules-temp

alertmanager_url: http://localhost:9093

ring:

kvstore:

store: inmemory

enable_api: true

复制代码

• Promtail的配置文件/mydata/loki/promtail.yml内容如下，使用的也是默认配置，这里的clients.url需要注意下，由于我们使用的是docker-compose部署，所以可以将服务名称loki作为域名来访问Loki服务；

server:

http_listen_port: 9080

grpc_listen_port: 0

positions:

filename: /tmp/positions.yaml

clients:

• url: http://loki:3100/loki/api/v1/push

scrape_configs:

• job_name: system

static_configs:

• targets:

• localhost

labels:

job: varlogs

path: /var/log/*log

复制代码

• 运行docker-compose.yml脚本安装所有服务，使用如下命令即可；

docker-compose up -d

复制代码

• 运行成功后，可以使用docker ps |grep lpg命令查看服务状态。

[root@local-linux lpg]# docker ps |grep lpg

64761b407423 grafana/loki “/usr/bin/loki -conf…” 3 minutes ago Up 3 minutes 0.0.0.0:3100->3100/tcp lpg-loki

67f0f0912971 grafana/grafana “/run.sh” 3 minutes ago Up 3 minutes 0.0.0.0:3000->3000/tcp lpg-grafana

f2d78eb188d1 grafana/promtail “/usr/bin/promtail -…” 3 minutes ago Up 3 minutes lpg-promtail

复制代码

使用

–

接下来我们将使用LPG日志收集系统来收集SpringBoot应用的日志，SpringBoot应用基本不用做特殊配置。

• 首先创建一个SpringBoot应用，修改配置文件application.yml，将日志输出到/var/logs目录下；

spring:

application:

name: mall-tiny-loki

最后

如果觉得本文对你有帮助的话，不妨给我点个赞，关注一下吧！

接下来我们将使用LPG日志收集系统来收集SpringBoot应用的日志，SpringBoot应用基本不用做特殊配置。

• 首先创建一个SpringBoot应用，修改配置文件application.yml，将日志输出到/var/logs目录下；

spring:

application:

name: mall-tiny-loki

最后

如果觉得本文对你有帮助的话，不妨给我点个赞，关注一下吧！

[外链图片转存中…(img-aPaq2vWp-1721172897999)]

[外链图片转存中…(img-8lk56o6l-1721172897999)]