关闭

Logstash学习6_LogStash日志分析展示系统

标签: logstash
421人阅读 评论(0) 收藏 举报
分类:

简介

通常日志管理是逐渐崩溃的——当日志对于人们最重要的时候,也就是出现问题的时候,这个渐进的过程就开始了。
日志管理一般会经历一下3个阶段:

  1. 初级管理员将通过一些传统工具(如cat、tail、sed、awk、perl以及grep)对日志进行检查,但它的适用范围仅限于少量的主机和日志文件类型;
  2. 考虑到现实中的可扩展性问题,日志管理也会逐步进化,使用如rsyslog和syslog-ng这样的工具进行集中化的管理;
  3. 当日志信息越来越大的时候,从快速增长的日志数据流中提取出所需的信息,并将其与其他相关联的事件进行关联,将变得越加困难,此时LogStash就提供了一个很好的解决方案

LogStash的优势:
对日志数据更好的语法分析功能;

更加灵活的日志存储方式

附带搜索和目录功能

易于安装、可扩展、性能良好等

设计及架构
LogStash由JRuby语言编写,基于消息(message-based)的简单架构,并运行在Java虚拟机(JVM)上。不同于分离的代理端(agent)或主机端(server),LogStash可配置单一的代理端(agent)与其它开源软件结合,以实现不同的功能。
在LogStash的生态系统中,主要分为四大组件:
Shipper:发送事件(events)至LogStash;通常,远程代理端(agent)只需要运行这个组件即可;

Broker and Indexer:接收并索引化事件;

Search and Storage:允许对事件进行搜索和存储;

Web Interface:基于Web的展示界面

正是由于以上组件在LogStash架构中可独立部署,才提供了更好的集群扩展性。

在大多数情况下,LogStash主机可分为两大类:

代理主机(agent host):作为事件的传递者(shipper),将各种日志数据发送至中心主机;只需运行Logstash 代理(agent)程序;

中心主机(central host):可运行包括中间转发器(Broker)、索引器(Indexer)、搜索和存储器(Search and Storage)、Web界面端(Web Interface)在内的各个组件,以实现对日志数据的接收、处理和存储。

部署
基础环境
yum install java-1.7.0-openjdk
java -version # 保证java版本为1.7 
部署LogStash
# 下载
wget https://download.elasticsearch.org/logstash/logstash/logstash-1.3.1-flatjar.jar -O logstash.jar 
# 启动
java -jar logstash.jar agent -v -f shipper.conf # 启动shipper
java -jar logstash.jar agent -v -f indexer.conf # 启动indexer
  
部署Redis
# 安装
yum install redis-server
# 启动
/etc/init.d/redis-server start
# 测试
$ redis-cli -h 192.168.12.24
redis 192.168.12.24:6379> PING
PONG 
部署Elasticsearch
# 下载
wget https://download.elasticsearch.org/elasticsearch/elasticsearch/elasticsearch-0.90.8.noarch.rpm
# 安装
rpm -ivh elasticsearch-0.90.8.noarch.rpm 
# 启动
/etc/init.d/elasticsearch status 
启动Kibana
# 安装
java -jar logstash.jar web # LogStash 1.3.1自带Kibana
# 查看
http://192.168.12.24:9292

Logstash配置文件与插件
input {
 stdin { }
 file {
  type => "syslog"
  path => ["/var/log/secure", "/var/log/messages"]
  exclude => ["*.gz", "shipper.log"]
 }
    zeromq {
      address => ["tcp://192.168.8.145:8889"]
  mode => "client"
      type => "zmq-input"
      topic => "weblog"
      topology => "pubsub"
  codec => "json"
    }
  }
  filter {
 mutate {
  gsub => [ "message","APPS weblog",""]
  gsub => [ "message","{",""]
  gsub => [ "message","}",""]
 }
  }
  output {
 stdout { debug => true debug_format => "json"}
    
 elasticsearch {
      cluster => "logstash"
  codec => "json"
    }
}

日志类别与处理方法
Apache日志:自定义apache输出日志格式,json输出,无需filter参与

Postfix日志:无法自定义,需使用如grok等filter进行过滤

Tomcat日志:需将多行日志合并至一个事件中,并排除空白行

集群扩展
扩展架构

注意事项
Redis:部署多台,仅提供高可用作用,无分担负载作用,可使用ZeroMQ代替
ElasticSearch:
# 检测节点状态:
 curl -XGET 'http://127.0.0.1:9200/_cluster/health?pretty=true'
   green status:所有shard被分配,且运行正常
   yellow status:只有主shard被分配,如集群正在节点间复制数据时
   red status:存在未被分配的shard
# 集群监控:
 Paramedic工具:
   安装:/usr/share/elasticsearch/bin/plugin -install karmi/elasticsearch-paramedic
   查看:http://log.linuxidc.net:9200/_plugin/paramedic/index.html
 Bigdesk工具:
   安装:/usr/share/elasticsearch/bin/plugin -install lukas-vlcek/bigdesk
   查看:http://log.linuxidc.net:9200/_plugin/bigdesk/index.html
   
# 数据保留策略:
   1.LogStash默认为每一天创建1个index,可手动删除index
    curl -XDELETE http://127.0.0.1:9200/logstash-2013.12.19
    shell优化脚本:https://github.com/cnf/logstash-tools/blob/master/elasticsearch/clean-elasticsearch.sh
   2.优化index:
    curl -XPOST 'http://127.0.0.1:9200/logstash-2013.12.19/_optimize'
    curl -XPOST 'http://127.0.0.1:9200/_optimize' # 优化所有index
    curl 'http://127.0.0.1:9200/logstash-2013.12.19/_stats?clear=true&store=true&pretty=true' #查看index的大小,index过多会影响优化耗时
   3.默认index数据目录:/var/lib/elasticsearch/logstash

参考资料
LogStash官网:http://www.logstash.net/
Elasticsearch官网:http://www.elasticsearch.org/
Kibana查询语法:http://lucene.apache.org/core/3_6_1/queryparsersyntax.html


原文来自:http://www.linuxidc.com/Linux/2014-03/97863.htm

0
0
查看评论

LogStash实践日志分析二:收集数据、入库、数据分析和kibana展示

1、原始数据源服务器,从日志拉取数据,并转化为utf8编码,增加ip地址,保存到redis中,上配置如下: input { file { path => "/tmp/activityserver.log" codec => j...
  • mergerly
  • mergerly
  • 2016-11-16 18:38
  • 1131

1-ELK安装及使用教程(搭建日志分析系统)

1、Logstash使用Logstash是一个完全开源的工具,他可以对你的日志进行收集、分析,并将其存储供以后使用。1.1 Logstash安装(JDK 1.8环境下)下载Logstash 2.3.4,并解压。1.2 Logstash配置配置logstash.confinput { file...
  • f59130
  • f59130
  • 2017-06-30 22:39
  • 1270

使用logstash分析Apache日志

转自:http://blog.sina.com.cn/s/blog_a84e73f70101ck5r.html 网站刚刚上线,就发现一些扫描信息,因此,有必要搭一个日志分析系统,对web访问日 志进行分析,或许能够发现一些有意思的东西。logstash是一个非常灵活的日志分析引擎, 使用强大的...
  • wdt3385
  • wdt3385
  • 2013-11-13 14:02
  • 2925

日志分析利器elk与logback(log4j)实战

在近期的项目中,由于其项目中记录了许多日志,当系统由于某些BUG挂掉时,单纯地通过命令来查询错误日志很不方便排除,且搜索起来很非常不方便,很花费时间,对于一向不喜欢干重复单调很费时间的我来说,如果没有一种办法来解决日志问题是一件很痛苦的事情。那天偶然,公司的CTO说解决这种事情,只需要ELK就能解决...
  • puhaiyang
  • puhaiyang
  • 2017-04-08 13:09
  • 4339

Spark streaming+kafka+logstash日志分析

Spark streaming kafka logstash 日志分析
  • yjyzsl
  • yjyzsl
  • 2017-06-23 15:31
  • 193

配置logstash抓取日志并分析

logstash使用drop过滤不需要的日志
  • shishui07
  • shishui07
  • 2017-05-24 18:24
  • 806

在Windows系统下搭建ELK日志分析平台

再记录一下elk的搭建,个人觉得挺麻烦的,建议还是在linux系统下搭建,性能会好一些,但我是在windows下搭建的,还是记录一下吧,像我这种记性差的人还是得靠烂笔头 简介: ELK由ElasticSearch、Logstash和Kiabana三个开源工具组成:  &#...
  • tulizi
  • tulizi
  • 2016-10-30 16:48
  • 10190

logstash分析日志

待处理日志格式如下:[totalCount: 298006556, count: 287347623, queryCount: 259027994, exeCount: 28319629, totalQPS: 10000.0, QPS: 1.0, queryQPS: 1.0, exeQPS: 0.0...
  • wangyangzhizhou
  • wangyangzhizhou
  • 2016-11-17 22:29
  • 3536

玩儿透ELK日志分析集群搭建管理(rsyslog->kafka->Logstash->ES->Kibana)

日志分析作为掌握业务情况的一个重要手段,目前使用最多最成熟的莫过于ELK方案,其中也有各种搭配组合,像rsyslog->ES->kibana、rsyslog->Redis->Logstash->ES->kibana、rsyslog->kafka->Lo...
  • u010954257
  • u010954257
  • 2017-01-19 21:44
  • 2659

搭建日志分析系统ELK

摘要: 原创出处 http://peijie2016.oschina.io 欢迎转载,保留摘要,谢谢! 日志分析组件3件套: E:Elasticsearch是一个搜索引擎,基于Lucene,天然分布式,很容易水平扩展,屏蔽了复杂的分布式概念,对外提供RESTfulAPI。 L:Logstash用于收...
  • u011851478
  • u011851478
  • 2017-08-18 15:21
  • 212
    个人资料
    • 访问:698289次
    • 积分:9057
    • 等级:
    • 排名:第2475名
    • 原创:115篇
    • 转载:431篇
    • 译文:37篇
    • 评论:39条
    文章分类