java分布式日志分析工具,elk开源分布式日志分析平台

elk 开源分布式日志分析平台

一.简介

1.核心组成

2.三大组件

3.elk 的工作流程

4.elk 的帮助手册

二.Logstash 和 elasticsearch(elasticsearch 和 logstash 依赖 java

环境)

1.java

2.nginx 的安装

3.redis 的安装

4.安装 elasticsearch

5.安装 logstash

6.安装 kibana

三.检验 elk 的日志结果

一.简介

1.核心组成

>.elk 由 Elasticsearch,Logstash 和 Kibana 三部分组件组成。

>.Elasticsearch 是一个开源分布式搜索引擎,它的特点有:分布式,零配置,

自动发现,索引自动分片,索引副本机制,restful 风格接口,多数据源,自动

搜索负载等.

>.Logstash 是一个完全开源的工具,它可以对你的日志进行收集、分析,并将其

存储供以后使用.

>.kibana 是一个开源和免费的工具,它可以为 Logstash 和 ElasticSearch 提

供的日志分析友好的 Web 界面,可以帮助您汇总、分析和搜索重要数据日志。

2.三大组件

>.Logstash:logstash server 端用来搜索日志

>.Elasticsearch:存储各类日志

>.Kibana:web 化接口用做查询和可视化日志

3.elk 的工作流程

>.在需要收集日志的所有服务上部署 logstash,作为 logstash agent(logstash

shipper)用于监控并过滤收集日志,将过滤后的内容发送到 redis,然后 logstash

indexer 将日志 收集在一起交给全文搜索服务 ElasticSearch,可以用于

ElasticSearch 进行自定义搜索,通过 Kibana 来结合自定义搜索进行页面展示。

>.logstash,elasticsearch,kibana 怎么进行 nginx 的日志分析呢?首先,架构方

面,nginx 是有日志文件的,它的每个请求的状态等都有日志文件进行记录。其次,需要有个队列,redis 的 list 结构正好可以作为队列使用。然后分析使用

elasticsearch 就可以进行分析和查询了。

>.我们需要的是一个分布式的,日志收集和分析系统。logstash 有 agent 和

indexer 两个角色。对于 agent 角色,放在单独的 web 机器上面,然后这个

agent 不断地读取 nginx 的日志文件,每当它读到新的日志信息以后,就将日志

传送到网络上的一台 redis 队列上。对于队列上的这些未处理的日志,有不同的

几台 logstash indexer 进行接收和分析。分析之后存储到 elasticsearch 进行

搜索分析。再由统一的 kibana 进行日志 web 界面的展示。

4.elk 的帮助手册

ELK 官网:https://www.elastic.co/

ELK 官方文档:https://www.elastic.co/guide/index.html

ELK 中文手

册:http://kibana.logstash.es/content/elasticsearch/monitor/logging.html

ELK 的 rpm 包:https://www.elastic.co/downloads(官网下载最新的 rpm 包)

注释

ELK 有两种安装方式

>.集成环境:Logstash 有一个集成包,里面包括了其全套的三个组件,相当于安

装一个集成包

>.独立环境:三个组件分别单独安装/运行/各司其职。在接下来的实验中将采用

独立环境。

>.系统环境:selinux and iptables disabled

rhel6.5elasticsearch:2.3.3

logstash:2.3.3

kibana:4.5.1

主机地址:172.25.39.1 server1.example.com

具体的搭建如附件，谢谢查阅！