ELK安装部署搭建

一、ELKStack简介 -- 日志分析管理（都是Java架构 -- 需要JDK底层）

什么是ELK？通俗来讲，ELK是由Elasticsearch、Logstash、Kibana 三个开源软件组成的一个组合体，这三个软件当中，每个软件用于完成不同的功能，ELK又称ELKstack，官网  Free and Open Search: The Creators of Elasticsearch, ELK & Kibana | Elastic .

1、Elasticsearch

elasticsearch是一个高度可扩展全文搜索和分析引擎，基于 Apache Lucene 构建，能对大容量的数据进行接近实时的存储、搜索和分析操作，可以处理大规模日志数据，比如 Nginx、Tomcat、系统日志等功能。

2、Logstash

数据收集引擎。它支持 动态的从各种数据源搜集数据，并对数据进行过滤、分析、丰富、统一格式等操作，然后存储到用户指定的位置；支持普通log 、自定义json格式的日志解析。

3、Kibana

数据分析和可视化平台。通常与 Elasticsearch 配合使用，对其中数据进行搜索、分析和以统计图表的方式展示。

开源 不等于免费  --> ELK --> 开源 | logstash 插件 --> 收集 免费  - 监控 收费的

4、 beats：多种数据采集器的集合，用于实现从边缘机器向logstash 和Elasticsearch发送数据，其中应用最多的是filebeat，是一个轻量级日志采集器。

工作原理图

二、ELK部署环境准备

1）Elasticsearch 介绍

Elasticsearch（简称ES）是一个分布式、RESTful风格的搜索和数据分析引擎，用于集中存储日志数据

与关系型数据库的对比如下：

Elasticsearch	关系型数据库	说明
INDEX	database	数据库
Type	table	表格
Document	row	行
field	column	列

2 ）这里实验所使用系统CentOS 7.5 x86_64，服务器信息如下。并关闭防火墙和selinux，及host绑定等。

IPAddr	HostName	Mem
192.168.1.11	hd1.com	3G
192.168.1.12	hd2.com	3G

三、Elasticsearch部署（采用二进制部署，需要上传软件）

1 ）安装

 

[root@hd1 ~]# mkdir /opt/elk
[root@hd1 ~]# mv elasticsearch-7.9.3-linux-x86_64.tar.gz /opt/elk
[root@hd1 ~]# cd /opt/elk
[root@hd1 elk]# tar zxvf elasticsearch-7.9.3-linux-x86_64.tar.gz
[root@hd1 elk]# mv elasticsearch-7.9.3 elasticsearch
[root@hd1 elk]# cd elasticsearch
[root@hd1 elasticsearch]# ls
bin  config  jdk  lib  LICENSE.txt  logs  modules  
[root@hd1 elasticsearch]# cd bin

尝试着去启动es
[root@hd1 bin]# ./elasticsearch
[2021-08-15T10:20:59,642][ERROR][o.e.b.ElasticsearchUncaughtExceptionHandler] [hd1.com] uncaught exception in thread [main]
org.elasticsearch.bootstrap.StartupException: java.lang.RuntimeException: can not run elasticsearch as root

2） 启动失败的原因是不能以root去运行 我们创建一个普通用户来执行

[root@hd1 ~]# useradd es
[root@hd1 ~]# chown -R  es.es /opt/elk
[root@hd1 ~]# ulimit -n
1024

3） 调整进程最大打开文件数量

[root@hd1 ~]# ulimit -n 65535

永久修改

[root@hd1 ~]# tailf -3 /etc/security/limits.conf
* hard nofile 65535
* soft nofile 65535
*  soft nproc 4096
*  hard nproc 4096
# End of file

4）调整进程最大虚拟内存区域数量

临时设置
[root@hd1 ~]# sysctl -w vm.max_map_count=262144
vm.max_map_count = 262144


永久设置
[root@hd1 ~]# echo "vm.max_map_count=262144" >>/etc/sysctl.conf
[root@hd1 ~]# sysctl -p
vm.max_map_count = 262144

5）修改配置文件

[root@hd1 ~]# vi /opt/elk/elasticsearch/config/elasticsearch.yml
cluster.name: elk-cluster   #集群的名称，两个节点保持一致
node.name: node-1           #集群节点的名字
path.data: /opt/elk/data #数据的路径
path.logs: /opt/elk/logs #日志的路径
network.host: 0.0.0.0      #监听的ip地址
http.port: 9200
discovery.seed_hosts: ["192.168.1.11", "192.168.1.12"] #发现集群中的其他节点
cluster.initial_master_nodes: ["node-1"]