再见笨重的ELK!这套轻量级日志收集方案要火!

修改loki默认配置文件路径

command: -config.file=/etc/loki/loki.yml

ports:

  • 3100:3100

日志收集器

promtail:

image: grafana/promtail

container_name: lpg-promtail

volumes:

将需要收集的日志所在目录挂载到promtail容器中

  • /mydata/app/mall-tiny-loki/logs/:/var/log/

  • /mydata/promtail:/etc/promtail/

修改promtail默认配置文件路径

command: -config.file=/etc/promtail/promtail.yml

日志可视化

grafana:

image: grafana/grafana

container_name: lpg-grafana

ports:

  • 3000:3000

复制代码

  • 由于我们把Loki和Promtail的配置文件挂载到了宿主机上,在运行之前,需要先准备好这两个配置文件;

  • Loki的配置文件/mydata/loki/loki.yml内容如下,使用的是默认配置(可以先不挂载配置文件运行Loki的Docker容器,然后从容器中拷贝出来即可);

auth_enabled: false

server:

http_listen_port: 3100

ingester:

lifecycler:

address: 127.0.0.1

ring:

kvstore:

store: inmemory

replication_factor: 1

final_sleep: 0s

chunk_idle_period: 1h # Any chunk not receiving new logs in this time will be flushed

max_chunk_age: 1h # All chunks will be flushed when they hit this age, default is 1h

chunk_target_size: 1048576 # Loki will attempt to build chunks up to 1.5MB, flushing first if chunk_idle_period or max_chunk_age is reached first

chunk_retain_period: 30s # Must be greater than index read cache TTL if using an index cache (Default index read cache TTL is 5m)

max_transfer_retries: 0 # Chunk transfers disabled

schema_config:

configs:

  • from: 2020-10-24

store: boltdb-shipper

object_store: filesystem

schema: v11

index:

prefix: index_

period: 24h

storage_config:

boltdb_shipper:

active_index_directory: /loki/boltdb-shipper-active

cache_location: /loki/boltdb-shipper-cache

cache_ttl: 24h # Can be increased for faster performance over longer query periods, uses more disk space

shared_store: filesystem

filesystem:

directory: /loki/chunks

compactor:

working_directory: /loki/boltdb-shipper-compactor

shared_store: filesystem

limits_config:

reject_old_samples: true

reject_old_samples_max_age: 168h

chunk_store_config:

max_look_back_period: 0s

table_manager:

retention_deletes_enabled: false

retention_period: 0s

ruler:

storage:

type: local

local:

directory: /loki/rules

rule_path: /loki/rules-temp

alertmanager_url: http://localhost:9093

ring:

kvstore:

store: inmemory

enable_api: true

复制代码

  • Promtail的配置文件/mydata/loki/promtail.yml内容如下,使用的也是默认配置,这里的clients.url需要注意下,由于我们使用的是docker-compose部署,所以可以将服务名称loki作为域名来访问Loki服务;

server:

http_listen_port: 9080

grpc_listen_port: 0

positions:

filename: /tmp/positions.yaml

clients:

  • url: http://loki:3100/loki/api/v1/push

scrape_configs:

  • job_name: system

static_configs:

  • targets:

  • localhost

labels:

job: varlogs

path: /var/log/*log

复制代码

  • 运行docker-compose.yml脚本安装所有服务,使用如下命令即可;

docker-compose up -d

复制代码

  • 运行成功后,可以使用docker ps |grep lpg命令查看服务状态。

[root@local-linux lpg]# docker ps |grep lpg

64761b407423 grafana/loki “/usr/bin/loki -conf…” 3 minutes ago Up 3 minutes 0.0.0.0:3100->3100/tcp lpg-loki

67f0f0912971 grafana/grafana “/run.sh” 3 minutes ago Up 3 minutes 0.0.0.0:3000->3000/tcp lpg-grafana

f2d78eb188d1 grafana/promtail “/usr/bin/promtail -…” 3 minutes ago Up 3 minutes lpg-promtail

复制代码

使用

接下来我们将使用LPG日志收集系统来收集SpringBoot应用的日志,SpringBoot应用基本不用做特殊配置。

  • 首先创建一个SpringBoot应用,修改配置文件application.yml,将日志输出到/var/logs目录下;

spring:

application:

name: mall-tiny-loki

logging:

path: /var/logs

level:

com.macro.mall.tiny: debug

复制代码

  • 使用如下命令运行SpringBoot应用,并把日志目录挂载到宿主机上,这样Promtail就可以收集到日志了;

自我介绍一下,小编13年上海交大毕业,曾经在小公司待过,也去过华为、OPPO等大厂,18年进入阿里一直到现在。

深知大多数Java工程师,想要提升技能,往往是自己摸索成长或者是报班学习,但对于培训机构动则几千的学费,着实压力不小。自己不成体系的自学效果低效又漫长,而且极易碰到天花板技术停滞不前!

因此收集整理了一份《2024年Java开发全套学习资料》,初衷也很简单,就是希望能够帮助到想自学提升又不知道该从何学起的朋友,同时减轻大家的负担。img

既有适合小白学习的零基础资料,也有适合3年以上经验的小伙伴深入学习提升的进阶课程,基本涵盖了95%以上Java开发知识点,真正体系化!

由于文件比较大,这里只是将部分目录截图出来,每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频,并且会持续更新!

如果你觉得这些内容对你有帮助,可以扫码获取!!(备注Java获取)

img

最后

在面试前我整理归纳了一些面试学习资料,文中结合我的朋友同学面试美团滴滴这类大厂的资料及案例

MyBatis答案解析
由于篇幅限制,文档的详解资料太全面,细节内容太多,所以只把部分知识点截图出来粗略的介绍,每个小节点里面都有更细化的内容!

大家看完有什么不懂的可以在下方留言讨论也可以关注。

觉得文章对你有帮助的话记得关注我点个赞支持一下!
《互联网大厂面试真题解析、进阶开发核心学习笔记、全套讲解视频、实战项目源码讲义》点击传送门即可获取!
同学面试美团滴滴这类大厂的资料及案例
[外链图片转存中…(img-IRl8mROU-1713533975971)]

[外链图片转存中…(img-3TMqkCdN-1713533975971)]
由于篇幅限制,文档的详解资料太全面,细节内容太多,所以只把部分知识点截图出来粗略的介绍,每个小节点里面都有更细化的内容!

大家看完有什么不懂的可以在下方留言讨论也可以关注。

觉得文章对你有帮助的话记得关注我点个赞支持一下!
《互联网大厂面试真题解析、进阶开发核心学习笔记、全套讲解视频、实战项目源码讲义》点击传送门即可获取!

  • 25
    点赞
  • 27
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值