ELK环境搭建

一、背景

    大家都知道日志主要包括系统日志、应用程序日志和安全日志。系统运维和开发人员可以通过日志来查看服务器软硬件信息、检查配置过程中的错误并分析错误发生的原因。经常分析日志还可以及时了解服务器的负荷以及性能的安全性，从而及时采取有效措施进行优化和安全防护，未雨绸缪。通常情况下，海量日志被分散储存在不同的机器设备上。传统方式，我们管理成百上千台服务器，需要依次登录每台机器的来分别查阅日志。但是这样操作非常繁琐，耗时、耗力，效率低下。那么当务之急就是我们需要使用集中化的日志管理工具，将所有服务器上的日志收集汇总，例如：开源的 syslog 。通过syslog工具集中化管理日志之后，日志的统计和检索又成为棘手的问题，一般我们使用grep 、 awk 和 wc 等 Linux 命令能实现检索和统计，但是对于要求更高的查询、排序和统计等操作以及庞大的机器集群使得我们依然会力不从心，很难满足生产工作中的需求。那么ELK强大的日志分析平台就应用而生。

二、架构图

三、安装配置手册

• JDK安装

     1、首先检查OpenJDK是否存在

        命令：java–version

                    

     2、如果存在，则卸载JDK，然后安装提供版本的JDK

        获取JDK的相关信息

        命令：rpm -qa |grep java  或 rpm -qa | grepopenjdk

        

        卸载OpenJDK安装包

        命令：yum -yremove java 上一步复制的jdk文件名

        

     3、将JDK压缩包（jdk-8u45-linux-x64.tar.gz）复制到opt目录下

     4、解压JDK压缩包

        命令：tar xvfFilename.tar

     5、进入/etc目录，修改profile文件，在最后添加下面代码

        #JDK1.8

        exportJAVA_HOME=/opt/jdk1.8.0_45

        exportJAVA_BIN=/opt/jdk1.8.0_45/bin

        exportPATH=$PATH:$JAVA_HOME/bin

        exportCLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

        export JAVA_HOMEJAVA_BIN PATH CLASSPATH

     6、重启系统

        命令：reboot

     7、查看安装结果

        命令：java –version

        

• elasticsearch安装

     1、将elasticsearch-1.7.2.tar.gz复制到/opt下面

     2、解压该安装包

        命令：tar xvfelasticsearch-1.7.2.tar.gz（在opt路径下执行）

        

     3、启动elasticsearch服务

        命令：. /elasticsearch-d (-d确保服务可以在后台运行）

        

     4、查看安装结果

        在浏览器中输入：Ip地址+9200端口，出现下图json数据，则证明安装成功

        

• Head插件安装

    保证Linux系统可以上网

    命令：./plugin -install mobz/elasticsearch-head

    在浏览器中输入：192.168.222.210:9200/_plugin/head后出现下图效果，说明安装成功

• Bigdesk插件

    命令：./plugin -install lukas-vlcek/bigdesk/2.5.0

   在浏览器中输入：192.168.222.210:9200/_plugin/bigdesk后出现下图效果，说明安装成功   

•  marvel插件安装（收费）

     命令：./plugin -install elasticsearch/marvel/latest

     在浏览器中输入：192.168.222.210:9200/_plugin/marvel后出现下图效果，说明安装成功

  

• logstash安装（只需要在收集日志的服务器上面安装即可）

     1、将logstash-1.5.5.tar.gz复制到/opt下面

     2、解压该安装包

        命令：tar xvflogstash-1.5.5.tar.gz（在opt路径下执行）

• 安装多行收集插件logstash-filter-multiline

     命令:./plugin install logstash-filter-multiline(进入bin文件目录下执行)

     插件说明：这个插件是用来将多行文本合并一行来收集。Itoo的用途是将多行的堆栈信息合并为一行进行存储。

• kibana安装

    1、将kibana-4.1.0-linux-x64.tar.gz 复制到/opt下面

    2、解压该安装包

       命令：tar  xvf  kibana-4.1.0-linux-x64.tar.gz(在opt路径在执行)

    3、启动kibana服务

       命令： ./kibana （在bin目录下执行cd /opt/kibana-4.1.0-linux-x64/bin）

       出现下图，证明服务启动成功

       在浏览器中输入：ip+5601端口，出现下图效果证明安装成功