白话知识图谱及其在CMDB中的应用

CMDB一直是运维建设的重点和难点。前段时间和北大同学一起探讨有无可能利用知识图谱相关的技术和方法重构CMDB？没想到经过短短半年时间，北大同学就在这方面取得了重大进展，现已完成算法验证，并发表国际学术论文《Mining Configuration Items From System Logs through Distant Supervision》。

由于学术论文比较晦涩难懂，所以我尽可能用朴实的文字将我们的工作成果和思考总结给大家做一个简要汇报，欢迎批评指正。

本文主要包含两块内容：

1、对知识图谱的基本概念和思想起源做一个简单的介绍；

2、知识图谱对CMDB的启发以及我们的实践成果。

阅读时间约20分钟

 

1、什么是知识图谱

你可以没听过知识图谱，但一定听过人工智能。人工智能可以简单的分为两大类：感知智能和认知智能。感知智能即视觉、听觉、触觉的感知能力。比如，自动驾驶汽车，就是通过激光雷达等感知设备和人工智能算法来实现感知智能的。比感知智能更厉害的是认知智能。认知智能通俗讲是让机器能理解会思考，能够知识推理、因果分析等等。而知识图谱，就是实现认知智能的基础技术。

 

那么，知识图谱究竟是什么呢？

 

别急，我们先看两个典型的知识图谱的应用场景。

 

第一个场景是智能搜索。Google于2012年在搜索引擎中引入知识图谱技术，尝试让机器理解了人们输入的搜索关键字是什么意思，有什么意图，以便给出更加准确、丰富的搜索结果。

 

另一个场景是智能问答。比如，互联网或知识库中可能记录了大量碎片化的信息和知识：

 

Bob想去看《蒙娜丽莎》，他很想知道自己有没有朋友可能去看过？传统的知识库很难直接告诉你答案。但是如果将上面片段信息转化成知识图谱，就能让电脑理解这些信息的关系，进而能直接给出答案：Bob的朋友Alice很可能去Louvre看了《蒙娜丽莎》。

 

上面两个场景让我们对知识图谱有了感性认识，可知识图谱是从哪儿来的呢？

 

2、知识图谱的思想起源

如果要探究知识图谱的思想起源，则应将时间上溯到1922年英国哲学家维特根斯坦和他的《逻辑哲学论》。

在这本著作中，维特根斯坦主张世界的本质就是语言。因为语言是人类思想的表达，是整个文明的基础，所以语言和世界是一体的。他从报纸上车祸的示意图中领悟到，任何有意义的语句都应该能表达成由“实体和关系”组成的图谱，而语句不断积累叠加形成的巨大图谱就是整个世界。

 

 

现实世界的滚滚红尘与纷纷扰扰，都可以抽象成“实体-关系”的图谱

这一思想对哲学乃至数理逻辑都产生了划时代的影响，为知识图谱技术奠定了深刻而牢固的思想基因，揭示了知识图谱的本质，即：用对象及其关系的语言符号来描述的现实世界的图谱。

 

3、IT运维领域的知识图谱

既然语言在现实世界如此重要。那么在IT的世界，机器之间又是用什么语言来交流呢？是日志。

 

日志是IT系统和设备在运行过程中自产生的数据，所以也称为机器数据（Machine Data）。日志的信息量非常丰富，我们可以从日志中得知系统正在进行什么处理操作（系统日志），正在受理和发起哪些访问请求（访问日志），是否出现了异常状况（错误日志）等等。但由于日志都是半结构性数据，中英文混合、结构复杂、内容多样，在理解上较为困难，所以并没有被有效利用，人们一般在排查故障时才会查看日志。

 

能否将这些机器语言转换成IT运维的知识图谱，从而实现类似智能根因分析和影响分析呢？比如，当要对某台服务器做重启时，知识图谱就能告诉我们这台服务器上现在正在运行哪些定时作业、这些作业又会影响哪些下游作业，这些下游作业属于什么应用系统，这些应用系统是给哪些业务提供服务的。

 

咦，这不是CMDB在干的事儿嘛？没错，其实CMDB的本质就是IT运维领域的知识图谱。而知识图谱相关技术，也的确能够帮助CMDB提升数据质量和使用体验。当然本文主要探讨第一个问题，因为CMDB最头痛的还是数据质量。至于第二个问题以后会专门撰文阐述。

 

在探讨第一个问题前，我们先简单回顾一下传统CMDB是如何构建的。

 

传统构建CMDB的方式经历了三个阶段：

 

最早期是人工录入，但工作量太大，且容易不准，因此很早就被废弃。后来采用自动发现手段，通过命令从机器上采集配置数据，这种方法有一定成效，但也存在安全隐患、性能影响及可用性方面的风险，所以