Elasticsearch+logstash+kibana部署

架构图示：

Logstash(收集服务器上的日志文件)

保存到 ElasticSearch(搜索引擎)

Kibana提供友好的web界面(从ElasticSearch读取数据进行展示)

服务器名	IP地址	操作系统	资源	角色	软件版本
lc005	192.168.19.133	Centos7.5	2vCPU/2GB RAM/40G Disk/20G Disk	Elasticsearch+logstash+kibana	elasticsearch-6.3.1
lc006	192.168.19.134	Centos7.5	2vCPU/2GB RAM/40G Disk/20G Disk	Elasticsearch	Kibana-6.3.1
lc007	192.168.19.135	Centos7.5	2vCPU/2GB RAM/40G Disk/20G Disk	Elasticsearch	logstash6.3.1

系统盘40G，/data目录lvm 20G

一、Elasticsearch安装部署

1、三台服务器都需要安装java,通过java -version进行查询

[root@lc005 ~]# java -version #系统自带有，

openjdk version "1.8.0_161"

OpenJDK Runtime Environment (build 1.8.0_161-b14)

OpenJDK 64-Bit Server VM (build 25.161-b14, mixed mode)

如果没有java版本的话则通过yum -y install java-1.8.0-openjdk* 进行安装与升级

[root@lc005 ~]#yum -y install java-1.8.0-openjdk*

2、设定java_home,3台服务器同步执行

[root@lc005 ~]# echo "export JAVA_HOME=`alternatives --display java_sdk_1.8.0|grep link|awk '{print $NF}'`" >> /etc/bashrc

3、更新yum repository，3台都执行

[root@lc005 ~]# yum update -y

4、3台服务器都安装开发工具包

先查看需要安装的开发工具包

[root@lc005 jvm]# yum group info 'Development Tools'

安装开发工具包

[root@lc005 jvm]# yum group install 'Development Tools'

备注：由于OS模版都已经安装了开发工具包，因为执行该命令时是没有软件包安装。

5、加入Elasticsearch的yum源（3台服务器都执行）

加入 Elasticsearch/Logstash/Kibana Repository KEYs

rpm --import https://artifacts.elastic.co/GPG-KEY-elasticsearch

[root@lc005 jvm]# rpm --import https://artifacts.elastic.co/GPG-KEY-elasticsearch

新建Elasticsearch的yum源配置文件

[root@lc005 jvm]# vim /etc/yum.repos.d/elasticsearch.repo

[elasticsearch-6.x]

name=Elasticsearch repository for 6.x packages

baseurl=https://artifacts.elastic.co/packages/6.x/yum

gpgcheck=1

gpgkey=https://artifacts.elastic.co/GPG-KEY-elasticsearch

enabled=1

autorefresh=1

type=rpm-md

保存并退出

验证是否成功，执行yum repolist

6、安装Elasticsearch

yum install elasticsearch -y

7、修改elasticsearch.yml配置文件

[root@lc005 jvm]# vim /etc/elasticsearch/elasticsearch.yml

注意：三台节点，在node.name时，写各自主机名

注意，在每台服务器需要新建账号elasticsearch的用户，/data目录下创建index和log文件夹，并授权用户elasticsearch对/data目录下的index和log未所有者。

新建elasticsearch用户和组时发现已经创建了，因为我们安装elasticsearch时自动创建了用户和组。

可以去lc006和lc007上查看下

因此在三台服务器上直接授权文件夹所有者即可。

8、启动三台服务器上elasticsearch服务，并设置自动启动

9、验证elasticsearch是否正常工作，在浏览器中输入elasticsearch节点IP地址进行验证，如下图则说明elasticsearch已正常工作

二、Kibana的安装与配置

1、安装Kibana，按照我们的设计，只需要在lc005上部署。

yum -y install kibana

2、修改kibana.yml配置文件

[root@lc005 data]# vi /etc/kibana/kibana.yml

保存并退出

启动kibana服务

3、验证kibana是否正常工作

在浏览器中输入kibana服务器的IP地址显示如下图则说明kibana已正常工作

三、为elasticsearch和kibana安装x-pack插件

x-pack是elasticsearch的一个扩展包，将安全，警告，监视，图形和报告功能捆绑在一个易于安装的软件包中。可通过elasticsearch-plugin install命令直接通过网络自动下载安装。

1、在lc005上安装elasticsearch x-pack plugin(6.2.4的版本需要安装，6.5.1的版本已经包含了）

#cd /usr/share/elasticsearch/bin

# ./elasticsearch-plugin install x-pack（由于yum源码安装直接安装到最新的6.5.1了，因此已经默认包含了此版本

2、安装kibana x-pack plugin(由于yum源码安装直接安装到最新的6.5.1了，已经默认包含了此版本）

cd /usr/share/kibana/bin/

四、logstash的安装与配置

1、安装logstash

# yum install logstash -y

2、添加配置文件

将配置文件放入/etc/logstash/conf.d中，logstash服务启动时会自动读取该位置的配置文件。

3、配置文件格式

基础格式至少要有下列三段。

input{        …    # 配置日誌檔的來源 } filter {        …  # 配置日誌檔的格式轉換與欄位定義 } output {        …  # 配置日誌檔的讀入處理後要導出至什麼端口 }

4.去需要收集日志的客户端部署ELK 6.5.1 filebeat和metricbeat安装

 

通过接口查看License许可

curl -XGET -u admin:password 'http://<host>:<port>/_license'

集群没有帐号密码的，忽略-u参数