windows10搭建ELK, Elasticsearch logstash kibana 7.3.2 最新版本 测试搭建

官网 https://www.elastic.co/cn/downloads/

本文全部使用的是7.3.2版本, 如果你看到最新版本不是这个,请下载的时候 三大件一定要使用相同的版本号!.

一 Elasticsearch安装

1 准备条件

• Elasticsearch7.3.2

官网地址 https://www.elastic.co/cn/downloads/elasticsearch

我知道你下载的很慢, 我在附件中提供了一个快速的下载方案

https://download.csdn.net/download/liutietuo/12115468

• jdk1.8 

https://www.oracle.com

jdk自行下载并配置好path。
 

2 集群配置

复制几分Elasticsearch变成这样 并修改名称

 

修改master节点配置

在master/config/elasticsearch.yml文件最后添加如下配置代码

#跨域
http.cors.enabled: true
http.cors.allow-origin: "*"
#设置集群名称
cluster.name: elastic
#设置节点名称
node.name: master
#设置此节点是master节点
node.master: true
#设置往外暴露ip，因为此时在windows下，所以直接暴露本地
network.host: 127.0.0.1
#配置数据存储地址，我这里没有配置使用默认地址
#path.data=""
#配置日志存储地址
#path.log=""
#xpack是个收费插件,功能强大.可自行百度
xpack.ml.enabled: false

 
node0配置

在node0/config/elasticsearch.yml文件下添加如下配置

#集群名称，只要是一个集群就要一样的名称
cluster.name: elastic
#节点名称
node.name: slave0
#对外暴露端口号
http.port: 8200
#对外暴露ip
network.host: 127.0.0.1
#发现集群节点，默认端口号是9200
discovery.zen.ping.unicast.hosts: ["127.0.0.1"]

 

node1配置

在node1/config/elasticsearch.yml文件下添加如下配置

 

#集群名称，只要是一个集群就要一样的名称
cluster.name: elastic
#节点名称
node.name: slave1
#对外暴露端口号
http.port: 8201
#对外暴露ip
network.host: 127.0.0.1
#发现集群节点，默认端口号是9200
discovery.zen.ping.unicast.hosts: ["127.0.0.1"]

其他node以此类推, 主要里面的端口号和节点名称

3 启动节点

启动master

使用elasticsearch.bat启动

 

然后去分别去不同的node目录下启动node

如果遇到[slave1] failed to join {master}{kdU4oPaJTbOQ_VCXegbRgA}{aDYkxo9sTZCiOQdG0Bhv7A}{127.0.0.1}{127.0.0.1:9300}{dim}{xpack.installed=true} with JoinRequest{sourceNode={slave1}{WMZMwojZS_Wjks0bhcwMxw}{hvVWlj8dQ7KcApfiZNTEyw}{127.0.0.1}{127.0.0.1:9302}{dim}{xpack.installed=true}, optionalJoin=Optional[Join{term=3, lastAcceptedTerm=1, lastAcceptedVersion=23, sourceNode={slave1}{WMZMwojZS_Wjks0bhcwMxw}{hvVWlj8dQ7KcApfiZNTEyw}{127.0.0.1}{127.0.0.1:9302}{dim}{xpack.installed=true}, targetNode={master}{kdU4oPaJTbOQ_VCXegbRgA}{aDYkxo9sTZCiOQdG0Bhv7A}{127.0.0.1}{127.0.0.1:9300}{dim}{xpack.installed=true}}]}

 

如果遇到  [slave1] uncaught exception in thread [main]
org.elasticsearch.bootstrap.StartupException: BindHttpException[Failed to bind to [8200]]; nested: BindException[Address already in use: bind]; 

注意我上面的配置,端口和nodename要不同!!!!

.

应该是你的节点是后加入的,数据不同步, 建议同步数据或清空数据再开启

4 测试访问

http://localhost:9200/

表示数据正常

5 注册节点服务

如果节点启动都正常

bat命令启动当然很费神

进入bin目录

运行 elasticsearch-service.bat install

接着继续运行elasticsearch-service.bat manager

设置自动启动即可

6 节点管理插件

elasticsearch-head-master

下载地址https://github.com/mobz/elasticsearch-head .当然我的附件中已经包含了

https://download.csdn.net/download/liutietuo/12115468

解压后打开里面的index.html就可以快速的管理节点 当然 如果你电脑装了node的话 ,也可以编译项目npm install 并运行 npm run start  因为node的操作和本文无关,不多做介绍

记得这里要创建一个索引

Master和Slave的区别：

Master的职责：
统计各node节点状态信息、集群状态信息统计、索引的创建和删除、索引分配的管理、关闭node节点等

Savle的职责：
同步数据、等待机会成为Master

 

 

 如果节点多,电脑内存不足的话 无法启动的话就进入config/jvm.options文件下
-Xms1g
-Xmx1g
改成
-Xms256m
-Xmx256m

7 数据测试

testindex/test

{"name":"t","age":66}

之后回到数据浏览

表示数据正常

至此 E就搭建完成

二 Logstash配置

1 准备条件 

logstash7.3.2

下载地址:https://www.elastic.co/cn/downloads/logstash

我的附件中均包含了下载地址

https://download.csdn.net/download/liutietuo/12115468

配置config

 

复制一份logstash-sample.conf 改名为logstash.conf

 

启动

logstash.bat -f ../config/logstash.conf

运行成功

说明

/logstash/config/logstash.yml：主要用于控制logstash运行时的状态
/logstash/config/startup.options：logstash 运行相关参数

配置参数说明

logstash.yml

参数	用途	默认值
node.name	节点名称	主机名称
path.data	/数据存储路径	LOGSTASH_HOME/data/
pipeline.workers	输出通道的工作workers数据量（提升输出效率）	cpu核数
pipeline.output.workers	每个输出插件的工作wokers数量	1
pipeline.batch.size	每次input数量	125
path.config	过滤配置文件目录
config.reload.automatic	自动重新加载被修改配置	false or true
config.reload.interval	配置文件检查时间
path.logs	日志输出路径
http.host	绑定主机地址，用户指标收集	“127.0.0.1”
http.port	绑定端口	5000-9700
log.level	日志输出级别,如果config.debug开启，这里一定要是debug日志	info
log.format	日志格式	* plain*
path.plugins	自定义插件目录

startup.options

参数	用途
JAVACMD=/usr/bin/java	本地jdk
LS_HOME=/opt/logstash	logstash所在目录
LS_SETTINGS_DIR="${LS_HOME}/config"	默认logstash配置文件目录
LS_OPTS="–path.settings ${LS_SETTINGS_DIR}"	logstash启动命令参数 指定配置文件目录
LS_JAVA_OPTS=""	指定jdk目录
LS_PIDFILE=/var/run/logstash.pid	logstash.pid所在目录
LS_USER=logstash	logstash启动用户
LS_GROUP=logstash	logstash启动组
LS_GC_LOG_FILE=/var/log/logstash/gc.log	logstash jvm gc日志路径
LS_OPEN_FILES=65534	logstash最多打开监控文件数量

三 kibana配置

config/kibana.yml

末尾加入一行

server.port: 5601    #本机的端口

运行kibana

表示启动成功

测试

我们访问

http://localhost:5601/

加入一组测试数据 (测试可以加入.后期要可以删除.如果熟悉的话,最好不要加入测试数据)

就此所有功能配置完毕

工作原理