- 博客(4)
- 收藏
- 关注
RSS订阅
原创 从零到日志采集索引可视化、监控报警、rpc trace跟踪-日志事件、埋点设计及对接
日志事件设计为了处理不同事件类型的日志，我们将不同业务含义的日志抽象成了日志事件，具体如下：public enum EventType { normal(Constants.EVENT_TYPE_NORMAL, "正常入库日志"), invoke_interface(Constants.EVENT_TYPE_INVOKE_INTERFACE, "api调用"),
2017-01-20 09:47:27
3317
2
原创 从零到日志采集索引可视化、监控报警、rpc trace跟踪-自定义日志框架
这里不去分析哪种日志采集方式最好，不对flume、logstash等其他软件做比较，我这边只会介绍适合我们公司使用的系统。由于我们公司部署的项目采用的都是java或者scala项目，日志的框架是log4j或者logback。日志的采集应该是不侵入或者最少侵入对接系统，所以我们使用轻量级的方式，自定义log4j和logback的kafka appender，将log输出的日志同时走kafka a
2017-01-19 09:20:49
2279
原创 从零到日志采集索引可视化、监控报警、rpc trace跟踪-架构介绍
接下去的几篇博客将介绍如何从零开发出一套集零侵入的日志采集、日志索引及可视化、基于日志监控报警、基于日志rpc trace跟踪进行系统性能分析的系统，之后都会称为监控中心系统。经测试，该系统的采集以及处理延迟在2秒以内，基本上做到了实时，其中日志采集模块在3台pc机器上测试下来大概每秒能够索引2.5w左右的日志，并且能够随着机器的增加性能水平扩展，每秒能够有效得处理50w+条的日志。本篇作为第
2017-01-18 10:37:11
7293
1
原创 scala java+spring boot写spark程序骨架
介绍下scala如何配合spring boot框架进行项目开发，由于scala和java一样都是运行在jvm中的，所以和java一样，scala配合spring boot使用几乎和java一样，由于java和scala各有各的特性，处理的场景不同（比如scala天生适合集合的处理），所以有的时候还是需要用java来处理较为方便，所以该骨架中将java和scala一起进行混编，最终打成jar包提供部
2017-01-17 15:20:22
11030
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人