ELK搭建教程(全过程)

一、使用背景
当生产环境有很多服务器、很多业务模块的日志需要每时每刻查看时
二、环境

系统：centos 6.5

JDK：1.8

Elasticsearch

Logstash

kibana

三、安装

1、安装JDK

下载JDK：http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html

本环境下载的是64位tar.gz包，将安装包拷贝至安装服务器/usr/local目录

[root@localhost ~]# cd /usr/local/ 
[root@localhost local]# tar -xzvf jdk-8u111-linux-x64.tar.gz

配置环境变量

[root@localhost local]# vim /etc/profile

将下面的内容添加至文件末尾（假如服务器需要多个JDK版本，为了ELK不影响其它系统，也可以将环境变量的内容稍后添加到ELK的启动脚本中）

JAVA_HOME=/usr/local/jdk1.8.0_111
JRE_HOME=/usr/local/jdk1.8.0_111/jre
CLASSPATH=.:$JAVA_HOME/lib:/dt.jar:$JAVA_HOME/lib/tools.jar
PATH=$PATH:$JAVA_HOME/bin
export  JAVA_HOME
export  JRE_HOME

[root@localhost local]# source /etc/profile

配置limit相关参数

ulimit -u 4096

[root@localhost local]# vim /etc/security/limits.conf
添加以下内容

* soft nproc 65536
* hard nproc 65536
* soft nofile 65536
* hard nofile 65536

创建运行ELK的用户

创建elsearch用户组及elsearch用户

groupadd elk

useradd elk -g elk -p vagrant

更改elasticsearch-6.4.2文件夹及内部文件的所属用户及组为elk:elk

cd切换到elasticsearch-6.4.2的父路径下

chown -R elk:elk elasticsearch-6.4.2

切换到elk用户再启动

su elk

cd elasticsearch-6.4.2/bin

sh elasticsearch &

关闭防火墙：

[root@localhost ~]# iptables -F

以上全部是root用户完成

2、安装ELK

先安装jdk1.8，在centos7.4里面，直接yum install tomcat就行，会自动安装好tomcat和jdk1.8，完了java -version看下版本
elk下载地址
https://www.elastic.co/cn/

以下由elk用户操作

以elk用户登录服务器

下载ELK安装包： https://www.elastic.co/downloads 并上传到服务器且解压，解压命令 tar -xzvf 包名

配置Elasticsearch
解压后进入config目录：cd elasticsearch-6.4.2/config，vim elasticsearch.yml 修改配置文件，在最下面加入如下几行：

network.host: 0.0.0.0
http.port: 9200
http.cors.enabled: true
http.cors.allow-origin: "*"

启动

./opt/elasticsearch-2.3.4/bin/elasticsearch & 

至此，elasticsearch配置启动完毕，可以在浏览器输入url: 服务器外网ip:9200 查看是否成功启动：

3 、kibana配置启动
按照上面的操作，可以先切回root用户了：su root 需要输入root密码

然后cd kibana-6.4.2-linux-x86_64/config/ 进入kibana的配置文件夹，

vim kibana.yml 编辑配置文件，在最后面加上如下配置就行：

server.port: 5601
server.host: "0.0.0.0"
elasticsearch.url: "http://localhost:9200"
kibana.index: ".kibana"

cd命令进入bin目录，

sh kibana &   启动kibana

启动完毕，可以浏览器输入url: 服务器外网ip:5601 查看是否成功启动：

4 logstash配置启动
现在可以配置logstash了

cd logstash-6.4.2/bin/进入bin目录

新建文件 vim logstash1.conf ，写入内容(监听tomcat的日志)：

input {
    file {
        path => "/usr/share/tomcat/logs/*.log"
        start_position => beginning
    }
}
filter {
 
}
output {
    elasticsearch {
    hosts => "localhost:9200"
    }
 
}

启动logstash：sh logstash -f logstash1.conf  &

如果提示–path.data的问题，则需要指定path.data的路径，随便找个路径就行，

我的是这样启动：sh logstash -f logstash1.conf  --path.data=/home/elk/logstash-6.4.2/logs &

完了可以看到kibana上面有logstash推送过去的日志了