ELK安装

ELK安装准备工作

机器全部安装jdk1.8，因为elasticsearch是java开发的
全部安装elasticsearch
主节点上需要安装kibana

ELK版本信息：

Elasticsearch-6.0.0
logstash-6.0.0
kibana-6.0.0
filebeat-6.0.0

首先安装elasticsearch

wget http://172.23.210.21:83/software/linux/elk/elasticsearch-6.0.0.rpm
rpm -ivh elasticsearch-6.0.0.rpm 

[root@harbor33-172-23-210-33 ~]# vim /etc/elasticsearch/elasticsearch.yml # 修改相关配置

cluster.name: harbor33-172-23-210-33  # 集群中的名称
node.name: harbor33-172-23-210-33  # 该节点名称
node.master: true  # 意思是该节点为主节点
node.data: false  # 表示这不是数据节点
network.host: 0.0.0.0  # 监听全部ip，在实际环境中应设置为一个安全的ip
http.port: 9200  # es服务的端口号
discovery.zen.ping.unicast.hosts: ["172.23.210.33", "172.23.210.34", "172.23.210.35"] # 配置自动发现

将配置文件发送到其他机器上去 并修改相关参数

node.name: 172.23.210.34
node.master: false
node.data: true

启动会报错，无法在环境变量中找到java可执行文件，做一个软链接过去即可

ln -s /usr/local/jdk1.8/bin/java /usr/bin/

主节点启动完成之后，再启动其他节点的es服务

systemctl start elasticsearch.service

查看es集群情况

curl '172.23.210.33:9200/_cluster/health?pretty'

查看集群的详细信息

curl '172.23.210.33:9200/_cluster/state?pretty'

安装kibana

wget http://172.23.210.21:83/software/linux/elk/kibana-6.0.0-x86_64.rpm
rpm -ivh kibana-6.0.0-x86_64.rpm

[root@harbor33-172-23-210-33 ~]#vim /etc/kibana/kibana.yml # 修改相关配置

server.port: 5601  # 配置kibana的端口
server.host: 172.23.210.33  # 配置监听ip
elasticsearch.url: "http://172.23.210.33:9200"  # 配置es服务器的ip，如果是集群则配置该集群中主节点的ip
logging.dest: /var/log/kibana.log  # 配置kibana的日志文件路径，不然默认是messages里记录日志

创建日志文件

touch /var/log/kibana.log; chmod 777 /var/log/kibana.log

启动kibana服务

systemctl start kibana

使用beats采集日志

wget http://172.23.210.21:83/software/linux/elk/filebeat-6.0.0-x86_64.rpm
rpm -ivh filebeat-6.0.0-x86_64.rpm 

[root@harbor33-172-23-210-33 ~]# vim /etc/filebeat/filebeat.yml #修改相关参数

filebeat.prospectors:
 hosts: ["172.23.210.30:9200"]
 index: "harbor33-%{+yyyy.MM.dd}"

setup.template.name: "harbor33"
setup.template.pattern: "harbor33-*"

- type: log
   - /var/log/messages

启动filebeat服务

systemctl start filebeat

启动成功后，到es服务器上查看索引，可以看到新增了一个以filebeat-6.0.0开头的索引，这就代表filesbeat和es能够正常通信了：

[root@k8s-master30-172-23-210-30 src]# curl '172.23.210.30:9200/_cat/indices?v'

health status index                     uuid                   pri rep docs.count docs.deleted store.size pri.store.size
green  open   harbor33-2019.02.19       XuAiiiwtQ_mJDrmnR7VZTQ   3   1        425            0    267.1kb        136.4kb
green  open   .kibana                   DX-2pnE6R3u_QdGHj0CmXw   1   1          5            0     97.5kb         48.7kb
green  open   harbor33-2019.02.20       x_CQXJS0Q1KITr_G9LhGdg   3   1        475            0    381.1kb        167.5kb

es服务器能够正常获取到索引后，就可以到kibana上配置这个索引了：

配置完成之后就可以在 “Discover” 里进行查看访问日志数据了：