非root用户-elastic-stack日志收集系统的规划及部署

最新推荐文章于 2023-05-24 17:11:41 发布

哈密瓜小贼

最新推荐文章于 2023-05-24 17:11:41 发布

阅读量2.7k

点赞数

文章标签： efk

本文链接：https://blog.csdn.net/weixin_44515412/article/details/121745407

版权

本文介绍了非root用户如何规划和部署Elastic Stack（Elasticsearch、Logstash、Kibana和Filebeat）日志收集系统。在多台CentOS服务器上，详细阐述了Elasticsearch的安装、集群监控、错误处理，Logstash的日志收集和过滤，Kibana的可视化，以及Filebeat的日志转发。此外，还提到了redis和kafka作为日志中转，以及日志写入mysql数据库进行持久化存储的重要性。

摘要由CSDN通过智能技术生成

架构图：

在这里插入图片描述
192.168.140.17 ELK-1 4核 8G 250G centos7.8 ES1+kibana
192.168.140.18 ELK-2 4核 8G 250G centos7.8 ES2
192.168.140.19 ELK-3 4核 8G 250G centos7.8 logstash(暂未用)
192.168.101.162 java+nginx+filebeat
192.168.101.163 java+nginx+filebeat

一、Elasticsearch

全文搜索和分析引擎，支持分布式可实现高可用、提供 API 接口。

0、各服务器初始化

#修改主机名
# sudo vim /etc/hostname #各服务器配置自己的主机名并重启
ELK-1
ELK-2
ELK-3
# sudo reboot

#确认关闭防火墙和 selinux
# sudo systemctl status firewalld
[ebapp@ELK-2 ~]$ getenforce
Disabled

#设置提示符格式
# sudo vim /etc/profile.d/env.sh
PS1="\[\e[1;32m\][\[\e[0m\]\[\e[1;33m\]\u\[\e[36m\]@\h\[\e[1;31m\] \W\[\e[1;32m\]]\[\e[0m\]\\$"

#各服务器配置本地域名解析：
# sudo vim /etc/hosts
192.168.140.17 ELK-1
192.168.140.18 ELK-2
192.168.140.19 ELK-3

#验证各服务器时区同步
[ebapp@ELK-3 ~]$rpm -ql chrony
[ebapp@ELK-3 ~]$vim /etc/sysctl.conf
[ebapp@ELK-3 ~]$systemctl status chronyd

1、17、18上安装elasticsearch

[root@ELK-1 ~]# sudo tar xvf elasticsearch-7.6.2-linux-x86_64.tar.gz -C /usr/local/
[root@ELK-1 ~]# sudo vim /usr/local/elasticsearch-7.6.2/config/elasticsearch.yml
cluster.name: ELK-Cluster 
node.name: ELK-node1 
path.data: /elk/data 
path.logs: /elk/logs 
bootstrap.memory_lock: true
network.host: 0.0.0.0 
http.port: 9200
discovery.zen.ping.unicast.hosts: ["192.168.140.17", "192.168.140.18"]
[root@ELK-1 ~