ELK日志分析系统部署

部署ELK日志分析系统详解：

主机	操作系统	主机名	IP	主要软件
服务器	Centos7.4	node1	20.0.0.31	Elasticsearch 、 Kibana
服务器	Centos7.4	node1	20.0.0.32	Elasticsearch
服务器	Centos7.4	apache	20.0.0.33	Logstash 、Apache

【配置elasticsearche环境】
//登录20.0.0.31 更改主机名、配置域名解析 查看Java环境

[root@localhost ~]# hostnamectl set-hostname node1
[root@localhost ~]# su

[root@node1 ~]# vim /etc/hosts
20.0.0.31 node1
20.0.0.32 node2

[root@node1 ~]# java -version
openjdk version “1.8.0_131”
OpenJDK Runtime Environment (build 1.8.0_131-b12)
OpenJDK 64-Bit Server VM (build 25.131-b12, mixed mode)


//登录20.0.0.32 更改主机名、配置域名解析 查看Java环境

[root@localhost ~]# hostnamectl set-hostname node2
[root@localhost ~]# su

[root@node2 ~]# vim /etc/hosts
20.0.0.31 node1
20.0.0.32 node2

[root@node2 ~]# java -version
openjdk version “1.8.0_131”
OpenJDK Runtime Environment (build 1.8.0_131-b12)
OpenJDK 64-Bit Server VM (build 25.131-b12, mixed mode)



【部署elasticsearch软件】

//登录20.0.0.31主机 node1
1.安装elasticsearch-5.5.0.rpm包
上传elasticsearch-5.5.0.rpm到/opt

[root@node1 ~]# cd /opt
[root@node1 opt]# rpm -ivh elasticsearch-5.5.0.rpm

2.加载系统服务
[root@node1 opt]# systemctl daemon-reload
[root@node1 opt]# systemctl enable elasticsearch.service

3.更改elasticsearch主配置文件
[root@node1 opt]# cp /etc/elasticsearch/elasticsearch.yml /etc/elasticsearch/elasticsearch.yml.bak
[root@node1 opt]# vim /etc/elasticsearch/elasticsearch.yml
:set nu 显示行数
17 cluste.name: my-elk-cluster //集群名
23 node.name: node1 //节点名
33 path.data: /data/elk_data //数据存放路径
37 path.logs: /var/log/elasticsearch/ //日志存放路径
43 bootstrap.memory_lock: false //不在启动的时候锁定内存
55 network.host: 0.0.0.0 //提供服务绑定的IP地址，0.0.0.0代表所有地址
59 http.port: 9200 //侦听端口为9200
68 discovery.zen.ping.unicast.hosts: [“node1”, “node2”] //集群发现通过单播实现

看一下刚刚配置的项：
[root@node1 opt]# grep -v “^#” /etc/elasticsearch/elasticsearch.yml
cluster.name: my-elk-cluster
node.name: node1
path.data: /data/elk_data
path.logs: /var/log/elasticsearch/
bootstrap.memory_lock: false
network.host: 0.0.0.0
http.port: 9200
discovery.zen.ping.unicast.hosts: [“node1”, “node2”]

4.创建数据存放路径并授权
[root@node1 opt]# mkdir -p /data/elk_data
[root@node1 opt]# chown elasticsearch:elasticsearch /data/elk_data/

5.启动elasticsearch并查看是否成功开启
[root@node1 opt]# systemctl start elasticsearch.service
[root@node1 opt]# netstat -antp | grep 9200

6.查看节点信息，用真机20.0.0.1 的浏览器打开 http://20.0.0.31:9200 有文件打开，下面是节点信息
{
“name” : “node1”,
“cluster_name” : “my-elk-cluster”,
“cluster_uuid” : “_8fxoBPLQgyVxw8n9DfE9w”,
“version” : {
“number” : “5.5.0”,
“build_hash” : “260387d”,
“build_date” : “2017-06-30T23:16:05.735Z”,
“build_snapshot” : false,
“lucene_version” : “6.6.0”
},
“tagline” : “You Know, for Search”
}


//登录20.0.0.32主机 node2
1.安装elasticsearch-5.5.0.rpm包
上传elasticsearch-5.5.0.rpm到/opt

[root@node2 ~]# cd /opt
[root@node2 opt]# rpm -ivh elasticsearch-5.5.0.rpm

2.加载系统服务
[root@node2 opt]# systemctl daemon-reload
[root@node2 opt]# systemctl enable elasticsearch.service

3.更改elasticsearch主配置文件
[root@node2 opt]# cp /etc/elasticsearch/elasticsearch.yml /etc/elasticsearch/elasticsearch.yml.bak
[root@node2 opt]# vim /etc/elasticsearch/elasticsearch.yml
:set nu 显示行数
17 cluste.name: my-elk-cluster //集群名
23 node.name: node2 //节点名
33 path.data: /data/elk_data //数据存放路径
37 path.logs: /var/log/elasticsearch/ //日志存放路径
43 bootstrap.memory_lock: false //不在启动的时候锁定内存
55 network.host: 0.0.0.0 //提供服务绑定的IP地址，0.0.0.0代表所有地址
59 http.port: 9200 //侦听端口为9200
68 discovery.zen.ping.unicast.hosts: [“node1”, “node2”] //集群发现通过单播实现

看一下刚刚配置的项：
[root@node2 opt]# grep -v “^#” /etc/elasticsearch/elasticsearch.yml
cluster.name: my-elk-cluster
node.name: node1
path.data: /data/elk_data
path.logs: /var/log/elasticsearch/
bootstrap.memory_lock: false
network.host: 0.0.0.0
http.port: 9200
discovery.zen.ping.unicast.hosts: [“node1”, “node2”]

4.创建数据存放路径并授权
[root@node2 opt]# mkdir -p /data/elk_data
[root@node2 opt]# chown elasticsearch:elasticsearch /data/elk_data/

5.启动elasticsearch并查看是否成功开启
[root@node2 opt]# systemctl start elasticsearch.service
[root@node2 opt]# netstat -antp | grep 9200



【集群检查健康和状态】
在真机20.0.0.1，用浏览器打开http://20.0.0.31:9200/_cluster/health?pretty //检查集群健康情况
页面显示如下：
{
“cluster_name” : “my-elk-cluster”,
“status” : “green”,
“timed_out” : false,
“number_of_nodes” : 2,