Docker部署ELK 8.8.2（4）-logstash部署和使用

最新推荐文章于 2024-09-29 16:19:51 发布
最新推荐文章于 2024-09-29 16:19:51 发布
阅读量1.7k 收藏 1
点赞数 3
分类专栏： 运维 文章标签： linux 运维 服务器 elk docker 容器
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_48244640/article/details/131596333
版权

一、logstash pipeline介绍


Logstash的核心是pipeline，包含两个必需的元素，输入（inputs）和输出（outputs），以及一个可选的元素，过滤器（filters）。输入插件使用来自源的数据，过滤器插件根据过滤规则修改数据，输出插件将数据写入目的地。

 

二、logstash容器创建


pull镜像 
docker pull docker.elastic.co/logstash/logstash:8.8.2


创建容器 docker run -itd --name logstash docker.elastic.co/logstash/logstash:8.8.2 

 
创建用于映射容器目录的宿主机目录 
mkdir -p /usr/local/logstash 

拷贝logstash容器文件到宿主机目录 
docker cp logstash:/usr/share/logstash/config /usr/local/logstash/ 
docker cp logstash:/usr/share/logstash/pipeline /usr/local/logstash/ 


删除容器 
docker rm -f logstash

重新创建logstash容器，并映射宿主机目录，映射5044端口接收filebeat日志，映射514端口接收syslog日志 docker run -itd --name logstash -p 5044:5044 -p 514:514 -v /usr/local/logstash/config:/usr/share/logstash/config -v /usr/local/logstash/pipeline:/usr/share/logstash/pipeline docker.elastic.co/logstash/logstash:8.8.2

 

三、接收filebeat日志


进入宿主机映射的logstash目录，目录下有config配置文件目录和pipeline配置文件目录
cd /usr/local/logstash/

 

查看配置文件config目录，重点查看pipelines.yml配置
ll config/
cat config/pipelines.yml
下面配置的意思是，pipeline的配置文件在/usr/share/logstash/pipeline目录
path.config: "/usr/share/logstash/pipeline"

 

由于我们将/usr/share/logstash/pipeline目录映射到了宿主机/usr/local/logstash/pipeline目录，所以我们直接查看宿主机目录
[root@kylin logstash]# ll pipeline/
查看目录下的配置文件，使用5044端口接收beats的日志（可以是各种beat，filebeat、metricbeat、winlogbeat等），使用stdout标准输出显示接收到的日志
[root@kylin logstash]# cat pipeline/logstash.conf 


创建一个nginx容器，用filebeat采集日志发送给logstash
创建nginx容器
[root@kylin ~]# docker run -itd --name nginx -p 80:80 nginx
626c82719d6e59f2647a3c5ac1f6290062f93cf54f3e3bedb53c92ad07e1d1ea
进入容器，确认一下配置文件和日志文件所在目录
[root@kylin ~]# docker exec -it nginx bash
root@626c82719d6e:/# ls /etc/nginx/
conf.d    fastcgi_params    mime.types  modules  nginx.conf  scgi_params  uwsgi_params  
root@626c82719d6e:/# ls /var/log
apt  btmp  dpkg.log  faillog  lastlog  nginx  wtmp
root@626c82719d6e:/# exit
exit
在宿主机创建目录，映射给nginx容器使用
[root@kylin ~]# mkdir /usr/local/nginx
将nginx容器的配置目录和日志模板复制到宿主机
[root@kylin ~]# docker cp nginx:/etc/nginx /usr/local/nginx
Successfully copied 16.9kB to /usr/local/nginx
[root@kylin ~]# docker cp nginx:/var/log /usr/local/nginx
Successfully copied 108kB to /usr/local/nginx
nginx容器对日志目录需要有写入权限，这里加一下权限
[root@kylin ~]# chmod -R 777 /usr/local/nginx/log/
删除容器
[root@kylin ~]# docker rm -f nginx
nginx

 

修改nginx配置文件，指定访问日志存储位置，改到/var/log/access.log，相当于宿主机的/usr/local/nginx/log/access.log
[root@kylin ~]# cd /usr/local/nginx/nginx/
[root@kylin nginx]# vi nginx.conf 
[root@kylin nginx]# cat nginx.conf | grep access.log
    access_log  /var/log/access.log  main;

重新创建nginx容器，映射宿主机目录
[root@kylin ~]# docker run -itd --name nginx -p 80:80 -v /usr/local/nginx/nginx:/etc/nginx -v /usr/local/nginx/log:/var/log nginx

打开浏览器，访问  http://宿主机IP:80

 

进入宿主机日志目录
[root@kylin ~]# cd /usr/local/nginx/log/
[root@kylin log]# ls
access.log  apt  btmp  dpkg.log  faillog  lastlog  nginx  wtmp
可以看到nginx访问日志
[root@kylin log]# cat access.log 
192.168.80.1 - - [06/Jul/2023:04:00:23 +0000] "GET / HTTP/1.1" 304 0 "-" "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/114.0.0.0 Safari/537.36 Edg/114.0.1823.67" "-"

Filebeat配置文件修改如下，output指向logstash容器宿主机映射端口
[root@kylin filebeat]# cat filebeat.yml
filebeat.inputs:
- type: filestream
  paths:
    - /usr/local/nginx/log/access.log*
  fields_under_root: true
  fields:
    logtype: "nginx-access"
  ignore_older: 72h

processors:
  - add_host_metadata: ~
  - drop_fields:
     fields: ["host.hostname", "host.os", "host.architecture", "host.id", "host.mac", "host.containerized", "agent", "ecs", "input"]

output.logstash:
  hosts: ["192.168.80.50:5044"]


在后台运行filebeat
nohup ./filebeat -e -c filebeat.yml &
pgrep filebeat    可以查看到filebeat的进程ID，说明filebeat在正常运行

  
logstash容器的默认配置是标准输出stdout，因此使用docker logs可以查看到标准输出中filebeat发送过来的日志
docker logs -n 100 logstash

 

四、接收syslog日志


进入logstash配置目录
[root@kylin ~]# cd /usr/local/logstash/config
备份pipeline配置文件
[root@kylin config]# cp pipelines.yml pipelines.yml.bak
编辑pipeline配置文件，删除所有内容，然后指定syslog和filebeat的配置文件目录
[root@kylin config]# vi pipelines.yml
[root@kylin config]# cat pipelines.yml
- pipeline.id: syslog 
  path.config: "/usr/share/logstash/pipeline/syslog/*.conf"
- pipeline.id: filebeat
  path.config: "/usr/share/logstash/pipeline/filebeat/*.conf"


进入pipeline配置文件目录
[root@kylin config]# cd /usr/local/logstash/pipeline/
[root@kylin pipeline]# ls
logstash.conf
创建syslog和filebeat目录
[root@kylin pipeline]# mkdir syslog filebeat
将默认pipeline配置文件分别拷贝给syslog、filebeat使用
[root@kylin pipeline]# cp logstash.conf syslog/
[root@kylin pipeline]# cp logstash.conf filebeat/
删除/usr/local/logstash/pipeline/目录默认pipeline
[root@kylin pipeline]# rm logstash.conf 
rm：是否删除普通文件 'logstash.conf'？y

  

进入syslog目录
[root@kylin pipeline]# cd syslog/
重命名pipeline文件，以便于从文件名就可以知道这是syslog的pipeline配置
[root@kylin syslog]# mv logstash.conf logstash-syslog.conf

4.1 input：tcp方式接收日志


logstash支持多种input，我们使用其中的tcp接收syslog日志
将logstash-syslog.conf pipeline配置中input部分修改为TCP 514端口接收，
[root@kylin syslog]# vi logstash-syslog.conf 
[root@kylin syslog]# cat logstash-syslog.conf 
input {
  tcp {
    port => 514
    type => syslog
  }
}

output {
  stdout {
    codec => rubydebug
  }
}


重启logstash，使刚刚修改的pipeline生效
[root@kylin ~]# docker restart logstash

 

给宿主机安装rsyslog软件包
[root@kylin ~]# yum install -y rsyslog

配置rsyslog，使用TCP协议，将所有级别日志发送到logstash 514端口（2个@是TCP协议发送，1个@是UDP协议发送，这里logstash使用容器部署，映射的是TCP端口，因此配置为TCP协议发送）
[root@kylin ~]# vi /etc/rsyslog.conf 
在配置文件结尾添加一行，*.*    @@192.168.80.50:514


[root@kylin ~]# tail -n 1 /etc/rsyslog.conf
*.*    @@192.168.80.50:514


重启rsyslog服务
[root@kylin ~]# systemctl restart rsyslog


添加用户的操作会产生日志，我们手动触发一条日志的生成
[root@kylin ~]# useradd test


查看日志输出，可以看到syslog日志
[root@kylin ~]# docker logs -n 100 logstash


 

4.2 input：syslog方式接收日志


我们也可以使用logstash支持的syslog input接收syslog日志
[root@kylin ~]# vi /usr/local/logstash/pipeline/syslog/logstash-syslog.conf
[root@kylin ~]# cat /usr/local/logstash/pipeline/syslog/logstash-syslog.conf 
input {
  syslog {
    port => 514
  }
}

 

output {
  stdout {
    codec => rubydebug
  }
}


重启logstash，使刚刚修改的pipeline生效
[root@kylin ~]# docker restart logstash


再触发一些日志
[root@kylin ~]# userdel -r test
[root@kylin ~]# useradd  test


查看logstash日志输出，可以看到syslog日志
[root@kylin ~]# docker logs -n 100 logstash


相比TCP接收，syslog直接将收到的原始日志（original）做了处理，从中提取出了name（audit日志）、pid（进程pid）等信息，并且添加了日志的级别（Notice）等字段

 

五、日志发送给elasticsearch


进入pipeline配置目录
[root@kylin ~]# cd /usr/local/logstash/pipeline/

修改syslog pipeline的output，输出到elasticsearch
ssl_verification_mode     elasticsearch使用https协议，这里忽略SSL的验证，否则需要配置证书等信息
index => "logstash-syslog-%{+YYYY.MM.dd}"    生成索引，以logstash-syslog-开头，后面是变量，即每天的日志，例如今天是2023年7月6日，生成的索引名为logstash-syslog-2023.07.06

[root@kylin pipeline]# vi syslog/logstash-syslog.conf
[root@kylin pipeline]# cat syslog/logstash-syslog.conf
input {
  syslog {
    port => 514
  }
}

output {
    elasticsearch {
        hosts => ["https://192.168.80.50:9200"]
        index => "logstash-syslog-%{+YYYY.MM.dd}"
        user => "elastic"
        password => "123456"
        ssl_verification_mode => none
    }
}



登录Kibana-点击Management

 

 

点击索引管理，可以看到logstash的output输出到elasticsearch创建的索引


kibana页面，Management（不用点击Management）下面有个开发工具

  
左侧输入API请求，点击发送请求按钮，右侧可以看到所有的索引和索引内的数据
GET /_search


也可以直接访问指定索引的数据，例如访问logstash生成的filebeat 7月6号的索引
GET /logstash-filebeat-2023.07.06/_search

 

 
同理，访问syslog的索引
GET /logstash-syslog-2023.07.06/_search

泪痕之木
关注
专栏目录
Docker运行logstash
flying8127的专栏
02-24 4323
docker logstash
docker部署ELK+Filebeat之logstash部署（三）
进阶的蜗牛
07-22 1533
docker部署ELK之logstash部署（二） 1、获取镜像 # docker network ls # docker pull logstash:7.1.1 2、创建数据卷挂载目录 # mkidr /data/service/docker/{filebeat,logstash} -p # cd /data/service/docker/logstash/ # vim logstash.yml ##新建文件 添加如下两行： path.config: /usr/share/logstash/co
使用Docker部署Logstash应用
AI天才研究院
01-28 1677
1.背景介绍 在本文中，我们将探讨如何使用Docker部署Logstash应用。Logstash是一个开源的数据处理和分析引擎，它可以将数据从不同的来源收集、处理并存储。Docker是一个开源的应用程序容器引擎，它可以将应用程序和其所有的依赖项打包成一个可移植的容器，以便在任何支持Docker的平台上运行。 1. 背景介绍 Logstash是Elasticsearch项目的一部分，它可以处理...
docker快速安装ELK
最新发布
wangchange的博客
09-29 1472
注意ip是你的服务器ip,端口就是5601，首次访问页面如下，需要先配置Elastic,我们选择自己手动配置一下，然后配置Elastic服务地址，vi docker-compose.yml，然后将下面的代码粘贴到文件中，最后保存即可。先进入/usr/local/share/elk目录，然后启动ELK。创建/elk/elasticsearch/data/目录。创建/elk/logstash/pipeline/目录。创建/elk/kibana/conf/目录。创建docker-compose.yml。
docker下logstash搭建
小鲍侃java
06-23 965
1. docker pull logstash:7.5.1 2. mkdir -p /usr/local/logstash/conf.d mkdir -p /usr/local/logstash/config mkdir -p /usr/local/logstash/logs 3. 4. docker run -p 5044:5044 --name=logstash \ --restart=always --privileged=true\ -e ES_JAVA_OP..
Docker安装Logstash
qq_39522120的博客
12-19 2110
Docker安装Logstash，springboot集成
docker-elk-logstash:Logstash 泊坞窗图像
07-12
ELK - Logstash 镜像 用于使用图构建 ELK 堆栈的 Logstash 图像。 参见
docker-logstash-forwarder:Logstash转发器Docker映像
05-14
Docker-logstash-forwarder 是一个专门为 Docker 设计的 Logstash 客户端，使得在 Docker 容器内产生的日志能够高效地被 Logstash 处理，进而进入 ELK（Elasticsearch, Logstash, Kibana）日志分析堆栈，为企业提供...
docker-logstash-forwarder:logstash-forwarder最小Docker容器映像
05-17
docker-logstash-forwarder 精益（16MB） logstash-forwarder Docker映像。 在这里，您将找到一个用于组装logstash-forwarder容器的Dockerfile，该容器通过安全的Lumberjack协议与logstash服务器进行通信。 这可能...
不得不学，从零到一搭建ELK日志，Docker环境下部署 logstash工具
Java_zhujia的博客
11-14 476
Logstash是具有实时流水线能力的开源的数据收集引擎。Logstash可以动态统一不同来源的数据，并将数据标准化到您选择的目标输出。它提供了大量插件，可帮助我们解析，丰富，转换和缓冲任何类型的数据。我们主要完成在Docker环境下部署 logstash 日志收集工具，他是搭建ELK日志非常重要的一部分，上一篇文章Filebeat日志收集完成之后，将数据写入 Elasticsearch 后用 Kibana 进行可视化展示，现在我们已经完成了。
docker部署logstash
QYHuiiQ
11-03 3156
1.从docker上拉取logstash镜像： [root@localhost local]# docker pull logstash:6.6.0 2.查看镜像是否下载成功： [root@localhost wyh_docker]# docker images REPOSITORY TAG IMAGE ID CRE...
docker搭建并启动Logstash
richpersion的博客
12-28 2443
docker搭建并启动Logstash。
[ElasticStack系列]docker部署logstash
热门推荐
凤歌
09-06 1万+
logstash安装部署、配置、测试
Logstash：在 Docker 中部署 Logstash
Elastic 中国社区官方博客
05-08 4318
在我之前的文章 “Elastic：用 Docker 部署 Elastic 栈”，我详细讲述了如何在 Docker 中部署 Elasticsearch 以及 Kibana。在今天的文章中，我们来详细介绍一下如何在 Docker 中部署 Logstash。 首先，我们来创建一个目录 docker-logstash。在该目录下，有如下的文件： $ pwd /Users/liuxg/data/docker-logstash $ ls -al total 16 drwxr-xr-x 5 liuxg st
docker安装logstash
08-11
要在Docker中安装Logstash，您可以按照以下步骤进行操作： 1. 首先，确保您已经安装了Docker并且Docker服务正在运行。 2. 打开终端或命令提示符，并执行以下命令拉取Logstash的官方Docker镜像： ``` docker pull docker.elastic.co/logstash/logstash:7.15.0 ``` 这将下载并安装Logstash的最新版本。 3. 下载完成后，您可以运行以下命令来启动Logstash容器： ``` docker run -d --name my-logstash docker.elastic.co/logstash/logstash:7.15.0 ``` 这将在后台启动一个名为"my-logstash"的Logstash容器。 4. 默认情况下，Logstash将使用其默认配置文件进行运行。如果您想自定义配置，可以将您的配置文件挂载到容器中。例如： ``` docker run -d --name my-logstash -v /path/to/your/config:/usr/share/logstash/config docker.elastic.co/logstash/logstash:7.15.0 ``` 将"/path/to/your/config"替换为您实际的配置文件路径。 5. 现在，Logstash容器应该已经在后台运行了。您可以使用以下命令来查看正在运行的容器： ``` docker ps ``` 输出将显示所有正在运行的Docker容器，包括Logstash。 这样，您就已经成功在Docker中安装并运行了Logstash。您可以根据需要进行配置和使用。
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值