日志系统
关注
分享
扫一扫
文章平均质量分 94
日志系统是以日志为基础，集日志采集、解析、搜索、分析统计、可视化等一系列功能与一体的分布式系统。本专栏描述了日志系统的架构设计、功能设计以及部分技术实践。
vinoYang
work @ Tencent. http://vinoyang.com
展开
-
日志系统之定时任务执行引擎
概述最近这段时间在强化日志系统自身的稳定性和可靠性，一个稳定可靠的系统离不开监控，我们这里谈及的监控除了服务是否存活还有这些组件的核心metrics采集与抓取，为此我们将这些任务做成了定时任务来执行。由于大致的思路以及设计已经成型，所以今天来分享一下日志系统在定时任务这块的选型与设计。原创 2016-04-23 22:07:55 · 8527 阅读 · 2 评论 -
日志系统重构之多源聚合的采集器
最近对日志系统的采集机制进行了重构，增强了对单一主机上多个日志源采集的便捷性。原创 2016-02-10 10:52:23 · 3165 阅读 · 0 评论 -
日志系统之基于flume收集docker容器日志
最近我在日志收集的功能中加入了对docker容器日志的支持。这篇文章简单谈谈策略选择和处理方式。原创 2016-02-07 09:56:09 · 12043 阅读 · 1 评论 -
日志系统之基于Zookeeper的分布式协同设计
最近这段时间在设计和实现日志系统，在整个日志系统系统中Zookeeper的作用非常重要——它用于协调各个分布式组件并提供必要的配置信息和元数据。这篇文章主要分享一下Zookeeper的使用场景。这里主要涉及到Zookeeper在日志系统中的使用，但其实它在我们的消息总线和搜索模块中也同样非常重要。原创 2015-12-26 20:34:44 · 5567 阅读 · 3 评论 -
日志系统之Flume采集加morphline解析
这段时间花了部分时间在处理[消息总线](https://github.com/yanghua/banyan)跟日志的对接上。这里分享一下在日志采集和日志解析中遇到的一些问题和处理方案。原创 2015-11-20 22:17:12 · 7905 阅读 · 0 评论 -
日志系统之扩展Flume-LineDeserializer
本文简单介绍了Flume agent的LineDeserializer的机制以及它在收集多行形式的日志上的缺陷，并对其进行了扩展。原创 2015-06-22 21:07:54 · 8061 阅读 · 0 评论 -
日志系统之HBase日志存储设计优化
本文探讨了基于HBase的日志存储原先自建索引存在的问题，展开分析了rowKey优化、索引优化等相关的优化策略。原创 2015-06-13 15:08:27 · 18855 阅读 · 1 评论 -
日志系统之Flume日志收集
本文介绍在日志系统中如何使用flume agent做日志收集以及为了满足我们的需求对flume agent进行了哪些扩展。原创 2015-06-06 21:17:49 · 7756 阅读 · 0 评论