博客专栏  >  架构   >  日志系统

日志系统

日志系统是以日志为基础,集日志采集、解析、搜索、分析统计、可视化等一系列功能与一体的分布式系统。本专栏描述了日志系统的架构设计、功能设计以及部分技术实践。

关注
14 已关注
8篇博文
  • 日志系统之定时任务执行引擎

    概述最近这段时间在强化日志系统自身的稳定性和可靠性,一个稳定可靠的系统离不开监控,我们这里谈及的监控除了服务是否存活还有这些组件的核心metrics采集与抓取,为此我们将这些任务做成了定时任务来执行。...

    2016-04-23 22:07
    6319
  • 日志系统重构之多源聚合的采集器

    最近对日志系统的采集机制进行了重构,增强了对单一主机上多个日志源采集的便捷性。

    2016-02-10 10:52
    2344
  • 日志系统之基于flume收集docker容器日志

    最近我在日志收集的功能中加入了对docker容器日志的支持。这篇文章简单谈谈策略选择和处理方式。

    2016-02-07 09:56
    7522
  • 日志系统之基于Zookeeper的分布式协同设计

    最近这段时间在设计和实现日志系统,在整个日志系统系统中Zookeeper的作用非常重要——它用于协调各个分布式组件并提供必要的配置信息和元数据。这篇文章主要分享一下Zookeeper的使用场景。这里主...

    2015-12-26 20:34
    4125
  • 日志系统之Flume采集加morphline解析

    这段时间花了部分时间在处理[消息总线](https://github.com/yanghua/banyan)跟日志的对接上。这里分享一下在日志采集和日志解析中遇到的一些问题和处理方案。

    2015-11-20 22:17
    3501
  • 日志系统之扩展Flume-LineDeserializer

    本文简单介绍了Flume agent的LineDeserializer的机制以及它在收集多行形式的日志上的缺陷,并对其进行了扩展。

    2015-06-22 21:07
    5110
  • 日志系统之HBase日志存储设计优化

    本文探讨了基于HBase的日志存储原先自建索引存在的问题,展开分析了rowKey优化、索引优化等相关的优化策略。

    2015-06-13 15:08
    10018
  • 日志系统之Flume日志收集

    本文介绍在日志系统中如何使用flume agent做日志收集以及为了满足我们的需求对flume agent进行了哪些扩展。

    2015-06-06 21:17
    5295

img博客搬家
img撰写博客
img发布 Chat
img专家申请
img意见反馈
img返回顶部