读书笔记（二）系统日志和事件的挖掘

前言：本篇文章是【读书笔记|大数据时代的数据挖掘】系列的第二篇，是根据此书的第二章所写的读书笔记。

目录

一、数据驱动的网络运维

四个阶段

二、系统日志分析的目的

三、日志数据分析管理系统的架构

四、系统日志的数据形式

五、基于日志数据的异常检测

1、基于监督学习的异常检测

2、基于无监督学习的异常检测

六、系统故障根源追踪

1、问题产生背景：

2、日志事件的依赖性挖掘

七、总结

---

一、数据驱动的网络运维

数据的价值在大数据时代得到了更为直观的体现，很多企业由业务驱动转向了数据驱动，对数据进行更有效的存储和管理是实现大数据分析的基础。

四个阶段

1、网络运维1.0阶段：简单的数据处理

• 日志是指带时间戳的基于时间序列的数据。
• 此时产生的数据量不多，是MB or GB级别的。
• 数据库的使用即可解决问题

2、网络运维2.0阶段：分布式大数据处理框架

• 数据级别达到TB、PB级别，且日志数据的特征之一就是随时间快速增长
• 传统的单机数据库无法解决问题，所以出现了分布式处理技术
• 对大数据的处理包括：数据搜集、数据接入、数据计算、数据输出4个步骤，及搜集、存储、计算以及可视化展示

3、网络运维3.0阶段：网络运维平台套件

• 2.0阶段的几大主流的分布式大数据平台需要操作人员的专业操作，缺少简单易用的数据开发平台
• 出现一站式大数据处理软件，性能强大，简单易用

4、网络运维4.0阶段：智能化网络运维

• 在面对实际应用中异构日志的技术处理、故障溯源、工单分析等复杂的运维需求，3.0时代的分析平台不能提供完美的解决方案
• 于是在已有的智能化运维平台上，需要分析具体的项目需求，结合自然语言处理、大数据挖掘、机器学习等开发高校的算法，研发该领域相关的克定花的高可用处理引擎，构建基于多源数据的智能运维协同分析平台

二、系统日志分析的目的

1、基础概念

自动化计算指IT系统能都适应不同的商业业务逻辑和硬件环境的一种能力，包括计算系统的自动配置、自动修复、自动优化、自动保护。

系统日志是记录生产设备运行过程中产生的数据。系统日志和事件的挖掘是自动化计算的基础和关键。

2、系统日志和事件的分析目的

• 系统问题诊断

        系统问题诊断是指判定系统是否发生故障和故障发生的原因。系统日志就是最重要的系统监控的问题诊断数据来源之一。

• 调优与优化

        实际中大部分多线程开发最有效的调试手段都是软件人员主动嵌入日志，生成代码，然后通过生成的日志分析和揣测bug出现的原因。

        也被用于各种程序优化软件，优化软件的目标是找出待优化的瓶颈，最常见的手段就是在待优化程序代码中主动嵌入可跟踪的日志产生代码，优化软件通过分析日志，跟踪优化程序每个执行函数消耗的运行时间及内存等，从而找到瓶颈。

• 系统安全维护

        日志常用于被动攻击的分析和防御中。可以断定和寻找攻击源，从而找到有效抵御措施。

        比如，鉴别denial of service（DoS）攻击的最直接办法就是查看服务器的连接请求日志，如果发现在某个时段出现大量异常的同一IP地址的连接请求，即可把此类攻击归结为DoS攻击。

        比如一些病毒防御软件通过分析应用程序调用操作系统的API历史记录来分析应用程序的行为是否正常，从而判定该应用程序是否是病毒或蠕虫（worm）。这里的API历史记录也是一种系统日志数据。

三、日志数据分析管理系统的架构

        通常大企业的IT服务架构，都依赖于一个日志数据分析和管理系统。日志数据分析管理系统通常是IT服务管理的核心系统架构。本章主要讲述数据挖掘技术在日志数据分析上的应用案例。

架构