ELK7.6.2集群安装部署

ELK是什么

ELK 是elastic公司提供的一套完整的日志收集以及展示的解决方案，是三个产品的首字母缩写，分别是ElasticSearch、Logstash 和 Kibana。

ElasticSearch简称ES，它是一个实时的分布式搜索和分析引擎，它可以用于全文搜索，结构化搜索以及分析。它是一个建立在全文搜索引擎 Apache Lucene 基础上的搜索引擎，使用 Java 语言编写。
Logstash是一个具有实时传输能力的数据收集引擎，用来进行数据收集（如：读取文本文件）、解析，并将数据发送给ES。
Kibana为 Elasticsearch 提供了分析和可视化的 Web 平台。它可以在 Elasticsearch 的索引中查找，交互数据，并生成各种维度表格、图形。

集群安装部署

一、安装前准备

1、软件下载

    官网：https://www.elastic.co/cn/what-is/elk-stack

    国内加速镜像：https://www.newbe.pro/Mirrors/Mirrors-Logstash/

elasticsearch-7.6.2-linux-x86_64.tar.gz
kibana-7.6.2-linux-x86_64.tar.gz
logstash-7.6.2.tar.gz

  一定要使用相同版本不然会报错

（以下安装运行的JKD已经安装好了，如果网页不能访问请注意可能是防火墙问题）

2、在opt下创建存放安装包文件（可自行选择路径）

mkdir -p /opt/software/es

3、 在opt创建解压安装文件（可自行选择路径）

mkdir -p /opt/es

 4、 elasticsearch，kibana不能使用root用户登入，所以需要创建一个普通用户

    1）创建一个elsearch用户组

groupadd elsearch

    2）创建一个elsearch的用户添加到elsearch用户组中

useradd elsearch -g elsearch

    3）赋予elsearch用户es的解压目录权限

chown -R elsearch:elsearch /opt/software/es

    4）使用root用户创建es集群的数据和日志数据文件（自行选择路径）

mkdir /data

    赋权给elsearch用户

chown -R elsearch:elsearch /data/

    切换到elsearch用户在data文件夹下创建es数据和日志文件

su – elsearch
mkdir -p /data/es/data
mkdir -p /data/es/logs

二、elasticsearch安装(每台都要安装)

1、解压elasticsearch安装包到/opt/es

tar –zxvf /opt/software/es/elasticsearch-7.6.2-linux-x86_64.tar.gz –C /opt/es

2、修改elasticsearch的配置文件elasticsearch.yml

cd  /opt/ES/elasticsearch-7.6.2/config

vim elasticsearch.yml

修改如下：

3、启动elasticsearch

    1)切换到elsearch用户下启动

su – elsearch
cd /opt/ES/elasticsearch-7.6.2/bin
./elasticsearch

    2)第一次启动可能会遇到的错误

1.max virtual memory areas vm.max_map_count [65530] is too low, increase to at least [262144]

解决:

在root下执行
vim /etc/sysctl.conf
配置
vm.max_map_count=655360
生效
sysctl -p

2.max file descriptors [4096] for elasticsearch process is too low, increase to at least [65536]

解决：

在root下执行
vim  /etc/security/limits.conf
添加:
* soft    nofile    65536
* hard    nofile    65536

3)如果没有报错，页面进行访问,随意一台都应该可以

例如访问：http://192.168.37.114:9200

出现下图说明elasticsearch集群安装启动成功

三、集群监控软件cerebro-0.8.3使用

Windons下直接解压使用，进到解压后的bin目录双击cerebao.bat文件

等待CMD窗口如图就可以访问9000端口了：

网页直接访问http://localhost:9000，如图

进来后界面如图，到这这个es集群都可以监控了，非常好用的工具

四、kibana安装（任意一台安装即可）

1、解压kibana安装包到/opt/es（参考elasticsearch）

2、修改kibana配置文件

如图：

3、启动kibana

切换到elsearch用户

su – elsearch
cd /opt/ES/ kibana-7.6.2-linux-x86_64
bin/kibana

等待一会

出现上图端口就可以去访问http://192.168.37.113:5601

如图说明kibana安装配置启动成功

五、logstash安装（任意一台安装即可）

解压即安装完成

1、测试

进到/opt/es/logstash-7.6.2/config，编写一个test.conf文件

vim test.conf

input{
	file {
		#读取一个日志文件（随意内容）
		path => ["/opt/es/logs/test.log"]
		#从头开始读取
		start_position => "beginning"
		#取名（随意）
		type => "web"
	}
}
output {
	stdout {
		#输出到控制台
		codec => "rubydebug"
	}
}

在/opt/es/logs目录下创建一个test.log文件添加内容

启动：bin/logstash -f config/test.conf

等待一会，如图logstash就算可以使用了

到此ELK三大组件安装完毕，总体来说还是很简单的，后面就是去不断玩耍了。