ELK技术堆栈（yum安装部署）

ELK技术堆栈（yum安装部署）

目录

ELK技术堆栈可以应用于各种场景

ELK的工作原理如下：

它由三个核心组件组成：

部署步骤：（单台部署）

环境部署：

安装JAVA环境：（官网下载链接）

Elasticsearch安装：（yum安装方式）

安装Kibana:

安装Logstash：

---

ELK技术堆栈可以应用于各种场景

包括但不限于以下场景：

1. 日志分析和监控：ELK能够对网络应用程序和服务器产生的日志进行实时监控和分析，包括系统事件日志、网络日志、安全日志等。该技术使得用户可以监控系统的运作和故障，并快速地对问题做出反应。

2. 安全事件管理：通过监控网络数据和日志，ELK能够检测和识别潜在的安全威胁。在安全事件发生时，监控人员可以使用ELK搜索并分析数据，迅速识别和应对潜在的攻击。

3. 业务运营分析：ELK可以适用于所有类型的日志数据分析和处理。它允许用户深入了解其业务的关键指标和趋势，并可以做出相应的业务调整和改进。

4. 应用程序性能监控：通过ELK技术堆栈中的组件对网络应用程序的运作进行分析和监控，用户可以深入了解应用程序的性能和系统瓶颈，以优化性能和提高用户满意度。

总之，ELK是一个功能丰富、灵活可扩展的平台，它为用户分析和管理各种类型的数据提供了一个完整的解决方案，是目前最流行的日志处理和分析技术之一。

ELK的工作原理如下：

1. 数据收集：Logstash在各个来源收集数据，如网络应用程序的日志、服务器日志、安全应用程序和系统设备等。

2. 数据处理：Logstash将数据传输到Elasticsearch进行分析和索引。在这个过程中，Logstash可以提取关键字段并执行转换操作。在这个阶段，用户可以使用自定义插件对数据进行进一步处理。

3. 数据存储：Elasticsearch将所有数据存储在分布式索引中。它允许用户轻松地存储和搜索日志和其他类型的数据。

4. 数据可视化：Kibana可以用于可视化和分析存储在Elasticsearch中的数据。用户可以查看实时日志数据、运行查询并创建定制的仪表板。

总之，ELK是一个完整的开源平台，可以帮助用户管理和分析各种类型的数据，包括日志和其他类型的数据。同时，由于它的模块化和可扩展性，用户可以根据其需求进行定制。

ELK是一个常见的日志管理和分析平台，

它由三个核心组件组成：

- Elasticsearch：一个基于Lucene的搜索引擎，用于存储、索引和搜索大量数据。

- Logstash：一个用于收集、转换和存储日志的数据处理管道。

- Kibana：一个用于可视化和交互式分析的Web界面，它与Elasticsearch集成，并能够即时地查看、分析和搜索日志数据。

使用ELK技术堆栈，用户可以快速地从网络应用程序、服务器、安全应用程序和系统设备等各种来源收集和分析大量数据。ELK可用于可视化数据、实时监控系统并发、网络流量和日志数据。ELK还可以用作大数据平台，不仅对日志数据进行分析处理，还可轻松地处理其他类型的数据。

部署步骤：（单台部署）

环境部署：

关闭防火墙

systemctl stop firewalld

iptables -F

setenforce 0

安装JAVA环境：（官网下载链接）

Java Downloads | Oracle

步骤一：解包

tar -zxvf jdk-8u171-linux-x64.tar.gz

步骤二：配置JAVA

mkdir /usr/java

mv /var/www/jdk1.8.0_171/* /usr/java/

vim /etc/profile  末尾添加

JAVA_HOME=/usr/java

JRE_HOME=/usr/java/jre

CLASS_PATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:$JRE_HOME/lib

PATH=$PATH:$JAVA_HOME/bin:$JRE_HOME/bin

export JAVA_HOME JRE_HOME CLASS_PATH PATH

source /etc/profile  使其生效

步骤三：检查是否生效

java -version

（查看是否安装java，安装了的查看版本）

 

Elasticsearch安装：（yum安装方式）

步骤一：下载安装源并安装

Elasticsearch7.x 清华大学开源镜像站：

Index of /elasticstack/7.x/yum/ | 清华大学开源软件镜像站 | Tsinghua Open Source Mirror

1、导入密钥

rpm --import

https://artifacts.elastic.co/GPG-KEY-elasticsearch

2、新建，添加elasticsearch的yum repo文件，

使用清华的yum源镜像

cd /etc/yum.repos.d

vim elasticsearch7.repo

3、安装

yum install -y elasticsearch

步骤二：配置elasticsearch

1、修改主配置文件

vim /etc/elasticsearch/elasticsearch.yml

2、根据需要修改内存设置

根据实际情况修改占用内存，默认都是1G,这里测试机是2G修改为512m,经测试，单机1G内存，设置512兆启动会占用700m+然后在安装kibana后，基本上无法运行了，运行了一会就挂了报内存不足。 内存设置超出物理内存，也会无法启动，启动报错。

vim /etc/elasticsearch/config/jvm.options

3、配置ARP参数

vim /etc/sysctl.conf

sysctl -p

4、修改/etc/security/limits.conf

vim /etc/security/limits.conf 末尾输入

步骤三：启动服务

systemctl start elasticsearch #启动

systemctl status elasticsearch #查看

systemctl enable elasticsearch #开机启动

systemctl stop elasticsearch #停止

 

访问测试：服务机ip地址 9200

 

安装Kibana:

安装ES时添加清华yum源中已经包含了kibana，

下面直接使用yum安装即可。

步骤一：安装软件

yum install -y kibana

步骤二：配置Kibana界面

vim /etc/kibana/kibana.yml

步骤三：启动服务

systemctl start kibana #启动

systemctl enable kibana #开机启动

systemctl status kibana #查看

systemctl stop kibana #停止

访问网页验证：

安装Logstash：

（logstash常用于日志系统中做日志采集设备，最常用于ELK中作为日志收集器使用）

安装ES时添加清华yum源中已经包含了Logstash，

下面直接使用yum安装即可。

步骤一：安装软件

yum install -y logstash

启动后可能会提示failed (Result: start-limit)错误，

具体原因在/var/log/messages中可以查看到：

此时需要指定环境变量：

vim /etc/sysconfig/logstash

添加JAVA_HOME=/usr/java

步骤二：启动服务

systemctl start logstash #启动

systemctl enable logstash #开机启动

systemctl status logstash #查看

systemctl stop logstash #停止

因为logstash常用于日志系统中做日志采集设备，在此我们没有对其进行配置，也没有做数据演示，所以服务是找不到的。