Cumu Blog

最近在做日志监控，日志通过logback或者log4j写入kafka，需要用kafka的java api写个消费端。由于是进行日志消费，可以允许有一定的丢失和重复消费，但是应该尽量避免。代码：public class KafkaConsumerTest {    private static Logger LOGGER = LoggerFactory.getLogg

接下去的几篇博客将介绍如何从零开发出一套集零侵入的日志采集、日志索引及可视化、基于日志监控报警、基于日志rpc trace跟踪进行系统性能分析的系统，之后都会称为监控中心系统。经测试，该系统的采集以及处理延迟在2秒以内，基本上做到了实时，其中日志采集模块在3台pc机器上测试下来大概每秒能够索引2.5w左右的日志，并且能够随着机器的增加性能水平扩展，每秒能够有效得处理50w+条的日志。本篇作为第

之前说到注册中心的设计，zookeeper中的节点部署如下：kafkaAppender初始化向zk进行app节点注册，并写入相关的信息kafkaAppender发生异常暂停工作会向app节点写入相关信息，以便监控系统能够实时感知并发送报警app正常或者异常退出后，zk中的app临时节点会消失，shutdownhook会正常运行，监控系统能够实时感知并发送报警（这里就需要我们在自定义的log

日志事件设计为了处理不同事件类型的日志，我们将不同业务含义的日志抽象成了日志事件，具体如下：public enum EventType { normal(Constants.EVENT_TYPE_NORMAL, "正常入库日志"), invoke_interface(Constants.EVENT_TYPE_INVOKE_INTERFACE, "api调用"),

这里不去分析哪种日志采集方式最好，不对flume、logstash等其他软件做比较，我这边只会介绍适合我们公司使用的系统。由于我们公司部署的项目采用的都是java或者scala项目，日志的框架是log4j或者logback。日志的采集应该是不侵入或者最少侵入对接系统，所以我们使用轻量级的方式，自定义log4j和logback的kafka appender，将log输出的日志同时走kafka a

接上文介绍docker的编排工具来部署，这里采用原生的compose方式，以后再介绍k8s如何做。本文介绍的例子为：https://github.com/JThink/SkyEye，4个服务提供了一组完整的应用。直接上docker-compose.ymlversion: '3'services:  skyeye-alarm:  image: 192.168.xx.xx:5000/xxx/sky

在平时的工作中如果将数据库进行了分库分表，那么肯定需要分布式唯一ID的生成策略。rpc trace跟踪模块也需要一个分布式唯一ID的生成器，本文介绍基于snowflake改造的分布式唯一ID生成策略。根据snowflake的算法，做了些许改变，唯一ID是一个int64的值，第一位占位，接下来40位为毫秒级的时间，接下来13位（支持8192个）为app和host组合的分配的值（即在N个服务器上每个服

安装zookeeperkafka自带了zookeeper，建议还是用外部的zk集群，搭建步骤如下： 准备3台机器，假设我们叫c1、c2、c3，ip分别为ip1、ip2、ip3将附件zookeeper-3.4.6.tar.gz分别拷贝至3台机器c1机器上解压zookeeper-3.4.6.tar.gz得到zookeeper-3.4.6，在zookeeper-3.4.6上一级目录创建dat