一、背景
大家都知道日志主要包括系统日志、应用程序日志和安全日志。系统运维和开发人员可以通过日志来查看服务器软硬件信息、检查配置过程中的错误并分析错误发生的原因。经常分析日志还可以及时了解服务器的负荷以及性能的安全性,从而及时采取有效措施进行优化和安全防护,未雨绸缪。通常情况下,海量日志被分散储存在不同的机器设备上。传统方式,我们管理成百上千台服务器,需要依次登录每台机器的来分别查阅日志。但是这样操作非常繁琐,耗时、耗力,效率低下。那么当务之急就是我们需要使用集中化的日志管理工具,将所有服务器上的日志收集汇总,例如:开源的 syslog 。通过syslog工具集中化管理日志之后,日志的统计和检索又成为棘手的问题,一般我们使用grep 、 awk 和 wc 等 Linux 命令能实现检索和统计,但是对于要求更高的查询、排序和统计等操作以及庞大的机器集群使得我们依然会力不从心,很难满足生产工作中的需求。那么ELK强大的日志分析平台就应用而生。
二、架构图
三、安装配置手册
- JDK安装
1、首先检查OpenJDK是否存在
命令:java–version
2、如果存在,则卸载JDK,然后安装提供版本的JDK
获取JDK的相关信息
命令:rpm -qa |grep java 或 rpm -qa | grepopenjdk
卸载OpenJDK安装包
命令:yum -yremove java 上一步复制的jdk文件名
3、将JDK压缩包(jdk-8u45-linux-x64.tar.gz)复制到opt目录下
4、解压JDK压缩包
命令:tar xvfFilename.tar
5、进入/etc目录,修改profile文件,在最后添加下面代码
#JDK1.8
exportJAVA_HOME=/opt/jdk1.8.0_45
exportJAVA_BIN=/opt/jdk1.8.0_45/bin
exportPATH=$PATH:$JAVA_HOME/bin
exportCLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export JAVA_HOMEJAVA_BIN PATH CLASSPATH
6、重启系统
命令:reboot
7、查看安装结果
命令:java –version
- elasticsearch安装
1、将elasticsearch-1.7.2.tar.gz复制到/opt下面
2、解压该安装包
命令:tar xvfelasticsearch-1.7.2.tar.gz(在opt路径下执行)
3、启动elasticsearch服务
命令:. /elasticsearch-d (-d确保服务可以在后台运行)
4、查看安装结果
在浏览器中输入:Ip地址+9200端口,出现下图json数据,则证明安装成功
- Head插件安装
保证Linux系统可以上网
命令:./plugin -install mobz/elasticsearch-head
在浏览器中输入:192.168.222.210:9200/_plugin/head后出现下图效果,说明安装成功
- Bigdesk插件
命令:./plugin -install lukas-vlcek/bigdesk/2.5.0
在浏览器中输入:192.168.222.210:9200/_plugin/bigdesk后出现下图效果,说明安装成功
- marvel插件安装(收费)
命令:./plugin -install elasticsearch/marvel/latest
在浏览器中输入:192.168.222.210:9200/_plugin/marvel后出现下图效果,说明安装成功
- logstash安装(只需要在收集日志的服务器上面安装即可)
1、将logstash-1.5.5.tar.gz复制到/opt下面
2、解压该安装包
命令:tar xvflogstash-1.5.5.tar.gz(在opt路径下执行)
- 安装多行收集插件logstash-filter-multiline
命令:./plugin install logstash-filter-multiline(进入bin文件目录下执行)
插件说明:这个插件是用来将多行文本合并一行来收集。Itoo的用途是将多行的堆栈信息合并为一行进行存储。
- kibana安装
1、将kibana-4.1.0-linux-x64.tar.gz 复制到/opt下面
2、解压该安装包
命令:tar xvf kibana-4.1.0-linux-x64.tar.gz(在opt路径在执行)
3、启动kibana服务
命令: ./kibana (在bin目录下执行cd /opt/kibana-4.1.0-linux-x64/bin)
出现下图,证明服务启动成功
在浏览器中输入:ip+5601端口,出现下图效果证明安装成功