Cumu Blog

官网下载es（时间点：2016-07-06，版本：2.3.3）下载地址https://www.elastic.co/downloads解压配置文件修改配置文件在config下elasticsearch.yml，日志配置文件在config下logging.yml修改elasticsearch.yml（node.name需要每个节点不同），内容为：# 集群名称cluster

es的java bulk load，直接贴代码public class BulkLoad {    public static void main(String[] args) {        if (args.length != 5) {            System.out.println("参数1 集群名字");            Sy

最近在做日志监控，日志通过logback或者log4j写入kafka，需要用kafka的java api写个消费端。由于是进行日志消费，可以允许有一定的丢失和重复消费，但是应该尽量避免。代码：public class KafkaConsumerTest {    private static Logger LOGGER = LoggerFactory.getLogg

接下去的几篇博客将介绍如何从零开发出一套集零侵入的日志采集、日志索引及可视化、基于日志监控报警、基于日志rpc trace跟踪进行系统性能分析的系统，之后都会称为监控中心系统。经测试，该系统的采集以及处理延迟在2秒以内，基本上做到了实时，其中日志采集模块在3台pc机器上测试下来大概每秒能够索引2.5w左右的日志，并且能够随着机器的增加性能水平扩展，每秒能够有效得处理50w+条的日志。本篇作为第

之前说到注册中心的设计，zookeeper中的节点部署如下：kafkaAppender初始化向zk进行app节点注册，并写入相关的信息kafkaAppender发生异常暂停工作会向app节点写入相关信息，以便监控系统能够实时感知并发送报警app正常或者异常退出后，zk中的app临时节点会消失，shutdownhook会正常运行，监控系统能够实时感知并发送报警（这里就需要我们在自定义的log

之前说到日志事件的设计、如何埋点以及基于jvm的程序如何对接我们的系统，接下去我们说下日志如何进行索引。通过前三篇博客可以知道数据通过LOGGER.info等打印日志的函数就可以存入kafka，所以我们对日志建立索引只需要实时读kafka写入es，为了提高实时索引的速率，我们会部署3个实例实时消费kafka的9个partition，并且使用es的bulk load api，这样测试下来大概3台

日志事件设计为了处理不同事件类型的日志，我们将不同业务含义的日志抽象成了日志事件，具体如下：public enum EventType { normal(Constants.EVENT_TYPE_NORMAL, "正常入库日志"), invoke_interface(Constants.EVENT_TYPE_INVOKE_INTERFACE, "api调用"),

这里不去分析哪种日志采集方式最好，不对flume、logstash等其他软件做比较，我这边只会介绍适合我们公司使用的系统。由于我们公司部署的项目采用的都是java或者scala项目，日志的框架是log4j或者logback。日志的采集应该是不侵入或者最少侵入对接系统，所以我们使用轻量级的方式，自定义log4j和logback的kafka appender，将log输出的日志同时走kafka a