日志自动化、智能化分析对于AI需求
通常,我们分析日志,是为了两个目标:
- 对数据有个整体的概览,例如,生成一天内的报表。
- 对异常数据进行挖掘,例如,对特殊的日志进行告警。
日志分析,通常对分析者有这些要求:
- 对业务数据的熟悉程度要求比较高。
- 要求开发者具备搭建分析系统的能力。
- 对分析算法足够的熟悉。
通常分析日志,可以借助于流计算系统来做实时计算、或者借助elasticsearch做搜索。日志服务,提供了一整套完整的日志收集、消费、搜索、计算的平台。云计算提供的平台解放了开发者,开发者不再需要把精力消耗在日志支撑系统的维护上,把自己的时间投入到自己的主营业务上,会获得最大的回报。
不仅如此,日志服务还提供了了一些智能化分析日志的手段。在日志服务控制台,左侧快速查询栏目,提供了对数字列的分类统计,可以看出数字列的分布,集中分布在哪些地方,有哪些特殊值。
只从Alpha GO战胜李世石之后,人们终于认识到,机器学习用来预测的准确率,已经达到了人类智能的水平。AI,也可以帮我们来完成一些传统日志分析系统无法完成的工作,例如数据分类、离群数据分析等。今天我们介绍日志服务的快速分析所使用的无监督机器学习:决策树算法,并且通过样例来演