logstash+elasticsearch +kibana 日志管理系统

转载 2015年07月09日 17:08:17
Logstash是一个完全开源的工具,他可以对你的日志进行收集、分析,并将其存储供以后使用(如,搜索),您可以使用它。说到搜索,logstash带有一个web界面,搜索和展示所有日志。
kibana 也是一个开源和免费的工具,他可以帮助您汇总、分析和搜索重要数据日志并提供友好的web界面。他可以为 Logstash 和 ElasticSearch 提供的日志分析的 Web 界面。
目的就是为了运维、研发很方便的进行日志的查询。Kibana一个免费的web壳;Logstash集成各种收集日志插件,还是一个比较优秀的正则切割日志工具;Elasticsearch一个开源的搜索引擎框架(支持群集架构方式)
工作原理图显示如下:

简单来讲他具体的工作流程就是 logstash agent 监控并过滤日志,将过滤后的日志内容发给redis(这里的redis只处理队列不做存储),logstash index将日志收集在一起交给
全文搜索服务ElasticSearch 可以用ElasticSearch进行自定义搜索通过Kibana 来结合自定义搜索进行页面展示
网上在国内找了很多的文章,但是大部分都是使用的logstash的旧版本,直接使用一个jar包,从logstash的官方网站上找到最新版本logstash-1.4.0,当前服务器操作系统ubuntu
1、安装软件列表
JDK 运行java程序必须
redis 用来处理日志队列
logstash 收集、过滤日志
ElasticSearch 全文搜索服务(logstash集成了一个)
kibana 页面展
2、客户端安装
root@AY140104220747005ca6Z-225:/soft/logstash-1.4.0#pwd
/soft/logstash-1.4.0
root@AY140104220747005ca6Z-225:/soft/logstash-1.4.0#ls
bin lib  LICENSE  locales patterns  README.md  shiper.conf spec  vendor
客户端主要配置shiper.conf文件(一般客户端上命名shiper.conf服务器端命名indexer.conf)
input {
  file {
    type=> "225-hd-prod"
    path=> [ "/mnt/servers/hd-prod/logs/catalina.out" ]
    codec=> multiline {
     pattern => "(^.+Exception:.+)|(^\s+at .+)|(^\s+... \d+ more)|(^\s*Caused by:.+)"
     what=> "previous"
  }
    }
}
filter {
  grok {
    match=> { "message" => "%{DATESTAMP:timestamp}%{LOGLEVEL:level} %{GREEDYDATA:syslog_message}" }
   #match => [ "message","%{TOMCATLOG}","message", "%{CATALINALOG}" ]
  }
  date {
    match=> [ "timestamp","dd/MM/yy:HH:mm:ss Z" ]
  }
}
output {
  stdout{ }
#  stdout{ codec => rubydebug }
  redis {host => "XXXX" data_type => "list" key=> "logstash:redis" }
}

这里我只是分析了一下tomcat的catalina.out文件(此java实例使用log4j将所有的信息全部写入catalina文件里面)
logstash所有参数文章介绍http://logstash.net/docs/1.4.0/
客户端logstash启动命令 /soft/logstash-1.4.0/bin/logstash -f /soft/logstash-1.4.0/shiper.conf &
3、服务器端配置
由于服务器原因所有我这边把redis、elasticsearch全部放在logstash的服务器端
redis安装配置
root@AY140328152940950c78Z:/usr/local/redis# ls
00-RELEASENOTES CONTRIBUTING  deps     logstash.conf  MANIFESTO README      redis.conf.bak  runtest-sentinel  src   utils
BUGS            COPYING       INSTALL  Makefile      prod.conf  redis.conf  runtest         sentinel.conf     tests
redis默认不用修改任何配置文件直接启动就行redis-server redis.conf
elasticsearch安装配置
root@AY140328152940950c78Z:/usr/local/redis# cd/soft/elasticsearch-1.0.1/
root@AY140328152940950c78Z:/soft/elasticsearch-1.0.1#ls
bin config  data  lib LICENSE.txt  logs  NOTICE.txt README.textile
elasticsearch可以直接启动(不修改配置文件启动的话,所有生成的index在从新启动之后都会消失,以前的log信息就不会出现在kibana中),若是想让log信息持久保存可以查阅可以修改config下的elasticsearch.yml
gateway.type: local
gateway.recover_after_nodes: 1
gateway.recover_after_time: 5m
gateway.expected_nodes: 2
gateway.type: local

gateway的类型,默认为local即为本地文件系统,可以设置为本地文件系统,分布式文件系统,hadoop的HDFS,和amazon的s3服务器。
gateway.recover_after_nodes: 1
设置集群中N个节点启动时进行数据恢复,默认为1。
gateway.recover_after_time: 5m
设置初始化数据恢复进程的超时时间,默认是5分钟。
gateway.expected_nodes: 2
设置这个集群中节点的数量,默认为2,一旦这N个节点启动,就会立即进行数据恢复
elasticsearch启动命令 /soft/elasticsearch-1.0.1/bin/elasticsearch &
logstash安装配置
root@AY140328152940950c78Z:/soft/elasticsearch-1.0.1/config#cd /soft/logstash-1.4.0/
root@AY140328152940950c78Z:/soft/logstash-1.4.0#ls
bin data  indexer.conf  lib LICENSE  locales  log.conf patterns  README.md  sh.conf spec  test.conf  vendor
服务端logstash主要配置文件indexer.conf
input {
redis {
       host => '127.0.0.1'
       data_type => 'list'
       port => "6379"
       key => 'logstash:redis'
       type => 'redis-input'
       codec => json
        }
       }
output {
       stdout {}
#      stdout { codec => rubydebug }
        elasticsearch {
       host => localhost
                        }
        }
启动服务端的logstash命令/soft/logstash-1.4.0/bin/logstash -f /soft/logstash-1.4.0/indexer.conf &
启动之后开始启动logstash的图形界面服务 /soft/logstash-1.4.0/bin/logstash-web &
启动之后查看一下logstash是否完全启动
[root@logstash ~]# netstat -tlnp | grep java (9292端口是kibana页面展示的端口)
tcp 0 0 :::9292 :::* LISTEN 2292/java
tcp 0 0 :::9200 :::* LISTEN 2161/java
tcp 0 0 :::9300 :::* LISTEN 2161/java
tcp 0 0 :::9301 :::* LISTEN 2292/java
tcp 0 0 :::9302 :::* LISTEN 2292/java

关于logstash所有配置就完成了接下来直接访问http://logstash服务端:9292就能看到kibana的欢迎界面,关于kibana如何使用就不多写了,搭建一个完整的logstash特别是在国内资料过时的情况下真是十分艰难!


Linux操作系统安装ELK stack日志管理系统--(2)Elasticsearch与Kibana的安装与使用以及和Logstash的连接

上一篇:Linux操作系统安装ELK stack日志管理系统–(1)Logstash和Filebeat的安装与使用上一篇介绍了Logstash和Filebeat的安装,以及使用Filebeat作为Lo...

使用ElasticSearch+LogStash+Kibana+Redis搭建日志管理服务

1. 日志平台的结构示意图 说明: 多个独立的agent(Shipper)负责收集不同来源的数据,一个中心agent(Indexer)负责汇总和分析数据,在中心agent前的Broker(...

windows下Elasticsearch+Logstash+Kibana日志收集分析系统安装教程

上星期搭建了基于kafka+elasticsearch+elastic-job的新闻日志追踪系统,在本地运行成功后,老大试了下,发现elastic-job运行不稳定,定时任务并没有执行,而且采用kaf...
  • dotedy
  • dotedy
  • 2016年01月17日 21:56
  • 3651

用ElasticSearch,LogStash,Kibana搭建实时日志收集系统

介绍 这套系统,logstash负责收集处理日志文件内容存储到elasticsearch搜索引擎数据库中。kibana负责查询elasticsearch并在web中展示。 logstash收集进程收获...
  • xtjsxtj
  • xtjsxtj
  • 2015年06月30日 12:20
  • 3615

使用kibana+logstash+elasticsearch+redis搭建分布式日志收集、分析、查询系统。

1)      数据采集 地址: https://www.elastic.co/downloads/logstash  下载: wget https://artifacts.elastic.co/do...

用Kibana+Logstash+Elasticsearch快速搭建实时日志查询、收集与分析系统

安装环境 先看看都需要安装什么软件包 ruby 运行Kibana 必须, rubygems 安装ruby扩展必须 bundler 功能类似于yum JDK 运行java程序必须  re...

logstash+elasticsearch+kibana搭建日志收集分析系统

转载自:http://blog.csdn.net/xifeijian/article/details/50829617 日志监控和分析在保障业务稳定运行时,起到了很重要的作用,不过一般情况下...

Logstash+Redis+Elasticsearch+Kibana+Nginx搭建日志分析系统

前言: 随着实时分析技术的发展及成本的降低,用户已经不仅仅满足于离线分析。目前我们服务的用户包括微博、微盘、云存储、弹性计算平台等十多个部门的多个产品的日志搜索分析业务,每天处理约32亿条(2TB)...
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:logstash+elasticsearch +kibana 日志管理系统
举报原因:
原因补充:

(最多只允许输入30个字)