CentOS7 安装EFK（elasticsearch、fluent、kibana）进行Docker下日志搜集

最新推荐文章于 2024-08-13 08:19:50 发布

LightingLYG

最新推荐文章于 2024-08-13 08:19:50 发布

阅读量1.3w

点赞数 2

分类专栏：日志管理文章标签： elasticsearch Logstash Kibana EFK ELK

本文链接：https://blog.csdn.net/gsying1474/article/details/52426366

版权

本文详细介绍了如何在CentOS7环境下，通过安装EFK（Elasticsearch, Fluentd, Kibana）组合来收集并可视化Docker容器的日志。首先，安装JDK和Elasticsearch，开放对应端口；接着，部署Kibana并测试访问；再安装Fluentd，并配置其收集Docker日志，通过插件增强日志信息；最后，验证Fluentd成功转发日志到Elasticsearch并在Kibana中创建索引展示日志。" 115084633,10547781,Java使用PDF模板填充表单,"['PDF处理', 'Java开发', '文档操作']

摘要由CSDN通过智能技术生成

Fluentd并非是专用于日志文件收集的，而是一个通用的信息收集、整理、转发的流式数据处理工具，日志收集只是它十分典型的一个运用场景。重要的是，Fluentd的日志收集功能对容器支持十分完备，远远胜于Logstash等传统日志收集工具。一方面得益于Fluentd社区开发了几种专用于Docker日志文件的收集插件，这些插件能够在Fluentd收集完Docker日志以后自动为它加上容器相关的信息，比较推荐其中的fluent-plugin-docker-metadata-filter这一款插件，它提供的信息颇为齐全。Logstash对于这方面依然比较空缺，GitHub上唯一能够找到的一款社区插件也已经在一年前就停止开发。另一方面，当前Docker官方支持的日志驱动除了默认的使用本地目录，还可以直接发送到远程的日志存储或日志采集服务，而其中日志采集服务目前仅仅支持Splunk和Fluentd，同样没有Logstash等老一辈开源日志工具的踪影。

安装elasticsearch

安装JDK或者openJDK（这里以openJDK为例）

[root@elk elk]# yum install java-1.8.0-openjdk -y

安装elasticsearch

[root@elk elk]# wget -c https://download.elastic.co/elasticsearch/release/org/elasticsearch/distribution/rpm/elasticsearch/2.3.3/elasticsearch-2.3.3.rpm
[root@elk elk]# yum localinstall elasticsearch-2.3.3.rpm -y
.....
  Installing : elasticsearch-2.3.3-1.noarch                                                                                             1/1
### NOT starting on installation, please execute the following statements to configure elasticsearch service to start automatically using systemd
 sudo systemctl daemon-reload
 sudo systemctl enable elasticsearch.service
### You can start elasticsearch service by executing
 sudo systemctl start elasticsearch.service
  Verifying  : elasticsearch-2.3.3-1.noarch                                                                                             1/1

Installed:
  elasticsearch.noarch 0:2.3.3-1
[root@elk elk]# systemctl daemon-reload
[root@elk elk]# systemctl enable elasticsearch
Created symlink from /etc/systemd/system/multi-user.target.wants/elasticsearch.service to /usr/lib/systemd/system/elasticsearch.service.
[root@elk elk]# systemctl start elasticsearch

修改防火墙，开放9200和9300端口

[root@elk elk]# firewall-cmd --permanent --add-port={
   9200/tcp,9300/tcp}
success
[root@elk elk]# firewall-cmd --reload
success
[root@elk elk]# firewall-cmd  --list-all
public (default, active)
  interfaces: eno16777984 eno33557248
  sources:
  services: dhcpv6-client ssh
  ports: 9200/tcp 9300/tcp
  masquerade: no
  forward-ports:
  icmp-blocks:
  rich rules: