监控日志loging elastIcsearch 部署篇(二)

参考ELK下载地址

ELK官网：https://www.elastic.co/
elasticsearch下载地址：https://www.elastic.co/downloads/elasticsearch
elasticsearch安装文档：https://www.elastic.co/guide/en/elasticsearch/reference/6.4/install-elasticsearch.html
kibana下载地址：https://www.elastic.co/downloads/kibana
kibana安装文档：https://www.elastic.co/guide/en/kibana/6.4/install.html
logstash下载地址：https://www.elastic.co/downloads/logstash
logstash安装文档：https://www.elastic.co/guide/en/logstash/6.4/installing-logstash.html
beats插件下载地址：https://www.elastic.co/downloads/beats
beats插件安装文档：https://www.elastic.co/guide/en/beats/libbeat/6.4/getting-started.html

elastIcsearch+logstash+kibana 7.3 安装

开源实时日志分析ELK平台能够完美的解决我们上述的问题，ELK由ElasticSearch、Logstash和Kiabana三个开源工具组成。官方网站：https://www.elastic.co/products

Elasticsearch是个开源分布式搜索引擎，它的特点有：分布式，零配置，自动发现，索引自动分片，索引副本机制，restful风格接口，多数据源，自动搜索负载等

Logstash是一个完全开源的工具，他可以对你的日志进行收集、过滤，并将其存储供以后使用（如，搜索）

Kibana 也是一个开源和免费的工具，它Kibana可以为 Logstash 和

ElasticSearch 提供的日志分析友好的 Web 界面，可以帮助您汇总、分析和搜索重要数据日志

环境准备
首先需要下载好相关的软件安装包

安装配置JAVA环境

JDK版本：jdk-8u144-linux-x64.tar.gz
[root@centos7-1 ~]# cat /etc/redhat-release
CentOS Linux release 7.4.1708 (Core)
[root@centos7-1 ~]# uname -r
3.10.0-693.el7.x86_64
[root@centos7-1 ~]# tar zxf jdk-8u60-linux-x64.tar.gz -C /usr/local/
[root@centos7-1 ~]# ln -s /usr/local/jdk1.8.0_60 /usr/local/jdk
[root@centos7-1 ~]# cat >>/etc/profile <<EOF
export JAVA_HOME=/usr/local/jdk
export PATH=$PATH: $JAVA_HOME/bin
export CLASSPATH=.CLASSPATH:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
EOF
[root@centos7-1 ~]# source /etc/profile
[root@centos7-1 ~]# java -version
java version "1.8.0_144"
Java(TM) SE Runtime Environment (build 1.8.0_144-b01)
Java HotSpot(TM) 64-Bit Server VM (build 25.144-b01, mixed mode)

安装Elasticsearch

修改系统参数
[root@centos7-1 config]# vim /etc/sysctl.conf
#增加下面的配置
vm.max_map_count=655360
[root@centos7-1 config]# sysctl -p
vm.max_map_count = 655360
[root@centos7-1 config]# tail -5 /etc/security/limits.conf
* soft nofile 65536
* hard nofile 131072
* soft nproc 65536
* hard nproc 131072
#End of file
[root@centos7-1 config]# vim /etc/security/limits.d/20-nproc.conf
#增加下面的配置
elk        soft    nproc     65536

创建用户与目录
[root@centos7-1 config]# useradd elk
[root@centos7-1 config]# mkdir  /data/elk/data /data/elk/logs -p
[root@centos7-1 config]# chown -R elk.elk /data/elk/
[root@centos7-1 config]# chown -R elk.elk /application/elk/elasticsearch/
安装与配置
[root@centos7-1 ~]# tar -zxf elasticsearch-7.3.0.tar.gz -C /application/elk/
[root@centos7-1 ~]# ln -s /application/elk/elasticsearch-7.3.0 /application/elk/elasticsearch
[root@centos7-1 ~]#       
修改配置文件
[root@centos7-1 config]# egrep -v "^#|^$" elasticsearch.yml
cluster.name: myelk    #集群名
node.name: centos7-1
path.data: /data/elk/data
path.logs: /data/elk/logs
bootstrap.memory_lock: true   #锁住es内存，保证内存不分配至交换分区
network.host: 0.0.0.0   #设置本机IP地址
http.port: 9200
discovery.zen.ping.unicast.hosts: ["host1", "host2"]
启动服务   如果以root身份运行将会出现以下问题，这个错误，是因为使用root用户启动elasticsearch，elasticsearch是不允许使用root用户启动的
[root@centos7-1 config]# su - elk
[elk@centos7-1 ~]$ who
root     pts/0        2017-10-13 22:22 (10.0.0.1)
[elk@centos7-1 ~]$ cd /application/elk/elasticsearch/bin/
[elk@centos7-1 bin]$ ./elasticsearch -d  ####后台运行

安装Logstash
https://www.elastic.co/cn/downloads/past-releases/logstash-7-3-0

[root@centos7-1 ~]# tar zxf logstash-7.3.0.tar.gz -C /application/elk/
[root@centos7-1 ~]# /application/elk/logstash-7.3.0/bin/logstash -e 'input { stdin { } } output { stdout {} }'
Sending Logstash's logs to /usr/local/logstash-7.3.0/logs which is now configured via log4j2.properties
[2017-10-16T01:39:36,983][INFO ][logstash.setting.writabledirectory] Creating directory {:setting=>"path.queue", :path=>"/usr/local/logstash-7.3.0/data/queue"}
[2017-10-16T01:39:37,181][INFO ][logstash.agent  ] No persistent UUID file found. Generating new UUID {:uuid=>"a2e3b22a-4785-42f6-a073-f7fad4d60a44", :path=>"/usr/local/logstash-5.3.1/data/uuid"}
[2017-10-16T01:39:37,623][INFO ][logstash.pipeline] S