通过kafka和filebeat收集日志 再保存到clickhouse 最后通过grafana展现

日志就是一个大数据库 

使用到

golang

clickhouse kafka filebeat grafana 

filebeat

filebeat是通过docker部署的,把要收集的日志目录持到容器中,filebeat自动读取文件并送到kafka中去.日志格式为json.filebeat按行读取

通过docker-compose部署filebeat 文件如下

# filebeat的docker-compose文件
version: '3'
services:
  myFileBeat:
    image: elastic/filebeat:8.3.3
    restart: always
    container_name: filebeat01
    hostname: filebeat01
    user: root
    environment:
      - TZ=Asia/Shanghai
    volumes:
      - $PWD/data_lib:/var/lib/filebeat:rw #存放日志文件读取偏移量
      - $PWD/data_data:/usr/share/filebeat/data:rw #存放日志文件读取偏移量
      - $PWD/data_logs:/usr/share/filebeat/logs:rw #存放filebeat本身的日志
      - $PWD/filebeat.yml:/usr/share/filebeat/filebeat.yml:ro #filebeat配置文件
      - $PWD/crts:/crts:ro #连接kafaka使用的证书
      - /opt/appName/logs:/logs/appName:ro #要收集的日志地址

 filebeat的配置文件如下

filebeat.inputs:
  - type: log
    id: myAppLog
    enabled: true
    encoding: utf-8
    paths:
      - /logs/*/*.log       #可以监控一整个目录及子目录
    fields:
      tag: 'myNewApp'    #自定义tag 这个tag会随消息传递

filebeat.config.modules:
  path: ${path.config}/modules.d/*.yml
  reload.enabled: false

setup.template.settings:
  index.number_of_shards: 2

output.kafka:
  # 连接到kafka的配置 这里通过证书进行客户端认证
  hosts: [ "kafka01.example.top:9092" ]
  topic: all_log
  partition.round_robin:
    reachable_only: true
  ssl.enabled: true
  ssl.key: "/crts/filebeat.key"
  ssl.certificate: "/crts/filebeat.crt"
  ssl.certificate

  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

独杆小蓬

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值