clojure实战——日志处理
1. 关于日志的一些想法
日志对于开发人员来说,是定位、分析软件故障时的重要依据;对于运维人员来说,是了解软件运行状态、系统状态的重要途径;对于业务需求方来说,是获取统计业务相关数据的重要来源。由此观之,开发人员在记录日志时,不仅需要考虑开发时定位软件异常、方便调试等需要,还要考虑来自运维、需求方这三方面的需求。另外,为了方便日后进行日志分析、统计,需要好好设计日志的记录格式、内容。
从使用目的来看,日志可分为运行日志和业务日志。前者其实也包含后者,都可以用于分析软件运行状态、定位故障,但业务日志主要为需求方统计业务结果所用,因而特意提取出来,便于日后分析。
但是要注意,业务日志不能只考虑当前需求方的需求,即业务日志不是单纯为满足当前统计需求而记的。业务日志是一个数据源,记录了所有业务相关日志,使用者通过日志分析来得到自己想要的数据。理想的情况下,即使没有统计需求,业务日志所记录下来的数据应该尽可能的满足以后分析和统计的需要。
2. 构建日志系统项目demo
(1)使用到的库
日志输出的格式,应该方便目前日志分析系统的使用,因为目前使用的是elk日志分析系统,所以日志输出格式为logstash json格式,日志记录使用logback。在project文件中加入以下几个库,每个库的具体介绍可在github上自行搜索查阅:
:dependencies [
;; clojure日志工具库
[org.clojure/tools.logging "0.3.1"]
;; logback日志
[ch.qos.logback/logback-classic "1.1.2"]
;; logstash所需格式
[net.logstash.logback/logstash-logback-encoder "3.3-utf-8"]
;; 将clojure的map格式转为json格式