日志主要包括系统日志、应用程序日志和安全日志等。系统运维和开发人员可以通过日志了解服务器软硬件信息、检查配置过程中的错误及错误发生的原因。经常分析日志可以了解服务器的负荷,性能安全性,从而及时采取措施纠正错误。通常,日志被分散的储存不同的设备上。如果你管理数十上百台服务器,你还在使用依次登录每台机器的传统方法查阅日志。这样是不是感觉很繁琐和效率低下。当务之急我们使用集中化的日志管理。
开源实时日志分析ELK平台能够完美的解决我们上述的问题,ELK由ElasticSearch、Logstash和Kiabana三个开源工具组成。ELK可以将我们的系统日志、访问日志、运行日志、错误日志等进行统一收集、存储分析和搜索以及图形展现。
- Elasticsearch是个开源分布式搜索引擎,它的特点有:分布式,零配置,自动发现,索引自动分片,索引副本机制,restful风格接口,多数据源,自动搜索负载等。
- Logstash是一个完全开源的工具,他可以对你的日志进行收集、过滤,并将其存储供以后使用(如,搜索)。
- Kibana 也是一个开源和免费的工具,Kibana可以为 Logstash 和 ElasticSearch 提供的日志分析友好的 Web 界面,可以帮助您汇总、分析和搜索重要数据日志。
官方网站:https://www.elastic.co
1. Elasticsearch
Elasticsearch需要至少Java 8。Java的安装在不同的平台下是不一样,这里提供Linux安装JAVA的方法。
安装java环境
1.在Oracle官方下载新版jdk,下载地址:
http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-
2133151.html
2.建议下载安装.rpm格式后缀的JDK,不需要配置java环境变量,会自动配置,上传安装包至服务器安装jdk。
# rpm -ivh jdk-8u171-linux-x64.rpm
3.检查JAVA是否安装成功,显示如下结果,说明安装成功。
# java -versionjava version "1.8.0_181"Java(TM) SE Runtime Environment (build 1.8.0_181-b13)Java HotSpot(TM) 64-Bit Server VM (build 25.181-b13, mixed mode)
一旦Java准备就绪,然后我们就可以下载并安装运行Elasticsearch。我们可以从这个页面http://www.elastic.co/downloads/elasticsearch获取所有发行版本的二进制安装包。每一个版本都对应有zip和tar压缩包,还有deb和rpm安装包,还有Windows下用的msi安装包。
安装elasticsearch
1.将下载好的rpm安装包上传至Linux服务器上,执行命令安装。
# rpm --install elasticsearch-6.4.0.rpm
如果你的linux服务器可以上网,也可以用yum进行安装。
# cat /etc/yum.repos.d/elasticsearch.repo #编辑最新的elasticsearch.repo文件[elasticsearch-6.x]name=Elasticsearch repository for 6.x packagesbaseurl=https://artifacts.elastic.co/packages/6.x/yumgpgcheck=1gpgkey=https://artifacts.elastic.co/GPG-KEY-elasticsearchenabled=1autorefresh=1type=rpm-md# yum install elasticsearch -y #yum安装elasticsearch
2.使用命令可查看elasticsearch安装位置。
# rpm -ql elasticsearch
3.运行elasticsearch。
# systemctl start elasticsearch
4.如果一切正常,Elasticsearch就会在默认的9200端口运行。这时请求9200端口,Elastic 返回一个 JSON 对象,包含当前节点、集群、版本等信息。
# curl localhost:9200{ "name" : "U895YAk