ELK-filebeat+kafka日志收集

最新推荐文章于 2024-08-07 17:17:28 发布

良月述

最新推荐文章于 2024-08-07 17:17:28 发布

阅读量1.8k

点赞数

分类专栏：运维-集群文章标签： ELK filebeat kafka

本文链接：https://blog.csdn.net/Gmoon23/article/details/79272933

版权

本文档介绍了如何在CentOS 6.9环境下，使用ELK 5.6版本结合Filebeat和Kafka进行日志收集。所有组件均为单点部署，Filebeat部署在10.99.2.16，ELK位于10.99.2.17，Kafka在10.99.2.23。详细步骤包括ELK、Logstash、Kibana的安装配置，以及Filebeat的下载、安装和配置，最后启动并测试Filebeat配置。

摘要由CSDN通过智能技术生成

环境
- centos6.9
- ELK5.6
- 所有节点都是单点非集群
  - filebeat：10.99.2.16
  - elk：10.99.2.17
  - kafka：10.99.2.23
- 官方文档
软件下载
ELK5.6.7-rpm
java1.8-rpm
es安装

yum安装java环境和es：

yum install elasticsearch-5.6.7.rpm jre-8u161-linux-x64.rpm -y
yum安装的需要普通用户开启
useradd elk
cp -r /etc/elasticsearch /usr/share/elasticsearch/config
chown -R elk:elk /usr/share/elasticsearch
chown -R elk:elk /etc/elasticsearch

配置文件

1、在/etc/security/limits.conf中添加：
 3.           soft   nproc        655350
 4.           hard   nproc        655350
2、在/etc/security/limits.d/90-nproc.conf中修改：
 5.          soft    nproc     4096
root       soft    nproc     unlimited
3、修改es配置文件jvm.options和elasticsearch.yml
# jvm.options：
    -Xms2g
    -Xmx2g
# elasticsearch.yml：
    network