[ElasticStack系列]docker部署logstash

最新推荐文章于 2024-07-26 11:40:21 发布

God_Ming

最新推荐文章于 2024-07-26 11:40:21 发布

阅读量1.5w

点赞数 3

分类专栏：监控文章标签： elasticsearch 监控

本文链接：https://blog.csdn.net/jinzhencs/article/details/77870146

版权

本文介绍了如何在Docker环境中部署Logstash，包括准备工作、构建和推送私有镜像、配置文件说明，以及启动和测试过程。在部署过程中遇到的坑如Kafka配置错误和JSON写入ES失败的问题，也提供了相应的解决方案。

摘要由CSDN通过智能技术生成

安装

准备工作

1.Dockerfile

FROM docker.elastic.co/logstash/logstash:5.5.2

#自定义输入、输出流
RUN rm -f /usr/share/logstash/pipeline/logstash.conf
ADD config/pipeline/ /usr/share/logstash/pipeline/

#测试暂时不改变setting文件
#ADD config/setting/ /usr/share/logstash/config/

2.build_image.sh

#!/bin/bash
VER="5.5.2"
docker build -t "dev.docker.mcc.cn:5000/logstash:${VER}" .
docker push dev.docker.mcc.cn:5000/logstash:${VER}

3.输入输出流配置文件: stdout.conf

说明: 从文件读取,然后输出到控制台

input {        
  file {
    path => "/var/log/glog/*"
    type => "file_2_console"
    start_position => "beginning"
  }
}
output {
  if [type] == "file_2_console" {
      stdout {
       codec => rubydebug
    }
  }
}

完整目录结构如下:
这里写图片描述

步骤

1.先创建私有镜像仓库

说明:否则会报错Repo not exist,至于为什么打了tag就能push成功,后续再搞清楚

docker login xxx

docker pull docker.elastic.co/logstash/logstash:5.5.2

docker tag docker.elastic.co/logstash/logstash:5.5.2 dev.docker.mcc.cn:5000/logstash:5.5.2

docker push dev.docker.mcc.cn:5000/logstash:5.5.2

2.构建镜像