ELK日志平台搭建（一）

最新推荐文章于 2024-04-23 21:30:55 发布

早川语

最新推荐文章于 2024-04-23 21:30:55 发布

阅读量1.9k

点赞数

分类专栏： ELK 文章标签： elk 搜索引擎 elasticsearch

本文链接：https://blog.csdn.net/qq_29188123/article/details/126162278

版权

ELK企业级日志分析系统

ELK是由Elasticsearch、Logstash、Kiban三个开源软件的组合。在实时数据检索和分析场合，三者通常是配合共用，而且又都先后归于 Elastic.co 公司名下，故有此简称。

ELK中日志处理步骤

在这里插入图片描述

应用服务
生产日志，通过Logger产生日志并输出。
Logstash
收集日志，通过http接收应用服务产生的日志。
Elasticsearch
为日志提供全文检索功能。
kibana
为Elasticsearch提供图形化界面。

ELK详细说明

Elasticsearch：

是实时全文搜索和分析引擎，提供搜集、分析、存储数据三大功能；是一套开放REST和JAVA API等结构提供高效搜索功能，可扩展的分布式系统。它构建于Apache Lucene搜索引擎库之上。

Logstash：

是一个用来搜集、分析、过滤日志的工具。它支持几乎任何类型的日志，包括系统日志、错误日志和自定义应用程序日志。它可以从许多来源接收日志，这些来源包括 syslog、消息传递（例如 RabbitMQ）和JMX，它能够以多种方式输出数据，包括电子邮件、websockets和Elasticsearch。

Kibana：

是一个基于Web的图形界面，用于搜索、分析和可视化存储在 Elasticsearch指标中的日志数据。它利用Elasticsearch的REST接口来检索数据，不仅允许用户创建他们自己的数据的定制仪表板视图，还允许他们以特殊的方式查询和过滤数据

环境准备

主机		操作系统		IP地址			软件
node1	CentOS7		192.168.230.133		Elasticsearch/head/Kibana
node2	CentOS7		192.168.230.131		zookeeper/kafka/Logstash

实验准备

关防火墙和系统安全机制（三台）

 [root@localhost ~]# systemctl stop firewalld
 [root@localhost ~]# systemctl disable firewalld
 Removed /etc/systemd/system/multi-user.target.wants/firewalld.service.
 Removed /etc/systemd/system/dbus-org.fedoraproject.FirewallD1.service.
 [root@localhost ~]# setenforce 0

 [root@localhost ~]# hostnamectl set-hostname node1
 [root@localhost ~]# bash
 [root@node1 ~]#

配置elasticsearch环境

 [root@node1 ~]# vi /etc/hosts 
 [root@node1 ~]# cat /etc/hosts 
 127.0.0.1   localhost localhost.localdomain localhost4 localhost4.localdomain4
 ::1         localhost localhost.localdomain localhost6 localhost6.localdomain6
 192.168.230.131 node2
 192.168.230.133 node1
 [root@node1 ~]# java -version
 bash: java: 未找到命令

配置jdk18依赖包

官方下载地址：https://www.oracle.com/java/technologies/downloads/#jdk17-linux

[root@node1 ~]# cd /opt/
[root@node1 opt]# tar xzf jdk-18_linux-x64_bin.tar.gz -C /usr/local/
[root@node1 opt]# cd /usr/local/
[root@node1 local]# mv jdk-18/ java

配置jdk18环境（以下命令添加到最后）
[root@node1 local]# vim /etc/profile

JAVA_HOME=/usr/local/java
PATH=$JAVA_HOME/bin:$PATH
export JAVA_HOME PATH

刷新后查看版本
[root@node1 local]# source /etc/profile
[root@node1 local]# java -version
java version "18.0.2" 2022-07-19
Java(TM) SE Runtime Environment (build 18.0.2+9-61)
Java HotSpot(TM) 64-Bit Server VM (build 18.0.2+9-61, mixed mode, sharing)

部署elasticsearch软件（node1）

官方下载地址：https://www.elastic.co/cn/downloads/past-releases#elasticsearch

（1）安装elasticsearch包
上传elasticsearch-8.3.0-linux-x86_64.tar.gz（按照自己所需去进行下载）到/opt目录下

[root@node1 local]# cd /opt/
[root@node1 opt]# ls
elasticsearch-8.3.0-linux-x86_64.tar.gz
[root@node1 opt]# tar xzf elasticsearch-8.3.0-linux-x86_64.tar.gz -C /usr/loca