Logstash
三劫散仙
唯有学习,可以解忧
展开
-
分布式日志收集之Logstash 笔记(一)
(一)logstash是什么? logstash是一种分布式日志收集框架,开发语言是JRuby,当然是为了与Java平台对接,不过与Ruby语法兼容良好,非常简洁强大,经常与ElasticSearch,Kibana配置,组成著名的ELK技术栈,非常适合用来做日志数据的分析。当然它可以单独出现,作为日志收集软件,你可以收集日志到多种存储系统或临时中转系统,如MySQL,redis原创 2015-11-05 10:39:53 · 17674 阅读 · 0 评论 -
分布式日志收集之Logstash 笔记(二)
今天是2015年11月06日,早上起床,北京天气竟然下起了大雪,不错,最近几年已经很少见到雪了,想起小时候冬天的样子,回忆的影子还是历历在目。 进入正题吧,上篇介绍了Logstash的基础知识和入门demo,本篇介绍几个比较常用的命令和案例 通过上篇介绍,我们大体知道了整个logstash处理日志的流程: input => filter => output 除了上面几个基原创 2015-11-06 11:18:24 · 47391 阅读 · 4 评论 -
手动从零使用ELK构建一套搜索服务
前言这两天需要对接一个新的搜索业务,由于测试机器还没到位,所以就自己创造条件,通过在Windows上安装VM虚拟机,模拟整套环境,从而能快速进入核心业务的开发测试状态中。系统环境安装配置虚拟机VMware Workstation Pro 12 云盘下载地址:https://pan.baidu.com/s/1hrWx76k 序列号:FF1JR-AZGE6-480UP-1PPXV-W38TACentos原创 2016-07-28 19:40:17 · 1470 阅读 · 0 评论 -
Logstash2.3.4趟坑之集成Redis哨兵模式
最新在使用Lostash2.3.4收集数据的时候,在读取redis数据的时候,报了如下的一个异常:异常如下Pipeline aborted due to error {:exception=>#URI::InvalidURIError: the scheme redis does not accept registry part: redis_master_10214 (or bad原创 2016-08-26 17:05:33 · 3053 阅读 · 0 评论 -
实时收集Storm日志到ELK集群
背景我们的storm实时流计算项目已经上线几个月了,由于各种原因迟迟没有进行监控,每次出现问题都要登录好几台机器,然后使用sed,shell,awk,vi等各种命令来查询原因,效率非常低下,而且有些统计是没法做的,所以很有必要对storm本身相关的日志以及我们运行在storm上面的任务的日志做一个统一的日志收集,分析,查询,统计平台。技术选型对于这个选择,其实不用考虑那么多原创 2016-11-22 19:01:16 · 1860 阅读 · 0 评论