知识图谱基础(三)-schema的构建

在前面一篇文章《知识图谱基础（二）-知识表达系统》中介绍了知识图谱的基础知识表达系统，什么是entity，什么是relation，什么是domain，什么是type等等。本篇文章主要从应用角度来聊一聊如何构建schema以及shcema构建中需要考虑的问题。以下所讲的schema构建主要是基于common sense进行构建的，弱关系图谱构建会在应用中讲到。

1. schema的定义

简单来说，一个知识图谱的schema就是相当于一个领域内的数据模型，包含了这个领域里面有意义的概念类型以及这些类型的属性。任何一个域的schema主要由类型（type）和属性（property）来表达。图1是plantdata内的创投schema，主要是为了发掘一级市场的投资和融资构建的schema。该schema主要是去定义需求，哪些数据对创投有用，才往上构建，例如：人物都有身高、体重，但是这些数据对创投来说意义不大，在schema中就不用构建了。关注创投的人会关注这些基金与人物投资了哪些公司，投资的公司所属行业，投资的公司属于哪一类企业，在该schema中就需要详细构建。

图1 plantdata创投schema

2. 如何构建schema

2.1 如何构建域（domain）

域（domain）的概念是凌驾于所有类型之上，对于域的定义应该尽量的抽象，不应该具体，同时域与域之间应尽量做到相互独立，不交叉。例如，省份就不应该是一个域的概念，在思考是否应该把一个概念当做域时，需要考虑到该概念是否能够继续向上抽象，例如：省份；城市；国家；县等等，他们同属于地理位置域。在明确域的概念时，应该定义好域的边界，这样比较容易区分不同域之间的区域划分。

2.2 如何确定一个域的类型（type）

这里需要产品经理去思考，构建这个schema的核心需求是什么，到底需要解决用户什么问题。为了满足这些核心需求，我们需要创造出哪些概念？

举个例子，在汽车领域，用户主要关心什么问题，例如：汽车的品牌、车系、发动机。

在NBA领域，用户主要关心球队、所属联盟、教练、球员等等。

针对不同的需求，需要在域下面构建不同的类型来满足用户的需求。

2.3 如何确定属性（property）

思考的角度如下：

1.以用户需求为出发点

2.以数据统计为证据

比如在构建完足球领域中的球队类型后，该类型集合了所有的球队实体，站在用户角度触发，用户会关注球队的哪些关系？

图2 足球领域schema

图2是我简单的针对足球领域构建的一个图谱，上面包含了梅西（球队的球员），埃内斯托·巴尔韦德（球队的教练），西甲（球队的所属联赛），其中梅西、西甲、埃内斯托.巴尔韦德又分属于不同的类型：足球球员，足球联赛，足球教练，这些所有的类型构成了足球域。

从上图的common sense配合图查询和自然语言处理技术已经可以支持基础的问答了，例如，梅西是哪个球队的？埃内斯托巴尔韦德是哪些球员的教练？西甲有哪些球队在踢球？等等

3. schema的应用

schema的应用是产品经理需要重点考虑的内容，因为产品需求决定了schema应该怎么构建，构建的是否完备。而产品的具体应用则主导了schema的整体构建方式，如果不仔细考虑产品应用的话，最惨的情况可能构建了很久的schema会因为一个逻辑坑而彻底报废掉，由于知识图谱又是一个牵一发而动全身的工程，根据实际经验来说，如果图谱构建和应用有部分脱节，可能修改图谱schema比重新构建图谱schema的成本还要高。所以，首先确认好具体的应用场景对于一个schema构建的成功与否是至关重要的。

3.1 笔者写一套曾经用过的确认schema的流程

3.1.1 需求划分

先将应用根据需求的强弱划分，分为基础核心需求，schema特色需求，锦上添花需求，未来扩展性需求。

基础核心需求：是经过需求分析后，构建这个schema需要完成最核心的需求，该需求优先级最高

schema特色需求：构建图谱时可能会经常遇到图谱可以实现而其他方法实现比较困难的特色需求，这类需求可能需求强度不是很高，但是由于能够实现一定的差异性，经常会有意想不到的效果。

锦上添花需求：非基础核心需求，做了更好，不做也可以接受

未来扩展性的需求：确认schema的时候要充分考虑到未来的扩展性，因为这类需求有可能会大改图谱的schema结构

3.1.2 列出功能点

在构建schema的时候，根据上述分类，需要去考虑该schema一期需要满足哪些具体的功能，将功能一一列下来，哪些功能是需要放在第二期、第三期完成的，未来的扩展性需求需要在构建的哪一块区域留下可扩展的内容。

常用的方法可以使用excel去列出一、二、三期所需要的功能点。

3.1.3 转化成查询结构

列出上述的功能点后，针对每一个功能点在后面备注好该功能的构建要点（注：这个非常重要），通常需求只需要将产品需求转化成一定的查询结构即可，笔者原来用的是cypher查询语法。以图2为例，我要支持某个教练教了哪些球员？转化成查询语言就是（a:足球教练）<-{b:教练}-（c:球队）-{d:球员}-（e:足球球员） return e。将a变成参数，输入a即可返回所有的e，即输入埃内斯托巴尔韦德，返回就是梅西。

流程如下：query:埃内斯托巴尔韦德带了哪些球员？→语义解析→转化成上述查询，将埃内斯托巴尔韦德作为参数a代入查询→返回结果→前端包装展示

注：上面在每个功能点后面备注了构建要点，当大部分功能点的构建要点都写完的时候，需要集中查看构建要点，因为如果需求本身比较大的话，不同的需求很容易造成schema的构建冲突，正如前面所讲，schema尽量要保证少出错。这个时候由于备注了构建要点，可以全局的来审视这个schema中间有没有逻辑黑洞。常出现的问题主要是在属性的设计，以及知识融合上。

3.1.4 转化开发需求

拿着上述文件去找开发，确认一下哪些是比较好实现的，一般来说做到这种程度大多数需求开发都是会接的。如果开发同学足够专业的话，他会从他的视角去给你提出他的宝贵意见。通常产品经理在思考schema这一块更倾向于思考这个schema的作用，而开发同学会思考工程实现、实现效率、运行效率、计算量等问题。

3.2 大规模构建schema

大规模构建schema的时候需要认真考虑数据源的情况，由于不同公司掌握的数据不同，所应用的对策也不同。

3.2.1 通常笔者会将数据源分为如下几种：

1. 已经清洗好的结构化数据：这部分数据一般是公司的核心数据，或者其他公司的核心数据，构建的时候应该优先考虑这类数据。这部分数据通常只需要改变数据格式即可入图谱。
2. 清洗好的结构化数据，但数据残缺：这部分数据通常需要数据挖掘，知识融合。清洗难度是由残缺比例决定的。
3. 无数据：没有这部分数据，但是又需要这部分数据，通常只能去选择让BD去购买数据，或者让爬虫组去专业网站爬取，例如：企业数据可以去企查查，电影的数据可以去猫眼，产业的数据可以去产业信息网等等。

假设需要构建的图谱entity数量在千万级别，开发力量不够强大的时候，慎用纯数据挖掘方案，有条件的话笔者建议直接去买结构化数据，因为可能挖掘和知识融合在经济上的成本比直接买数据要高，而且时间周期也会很长。

 

个人认为，大规模构建schema最难的地方就在于挖掘数据的知识融合上，举个例子：全国有10000个叫王刚的人，爬虫从A网站挖下来5000个“王刚”，从B网站挖下来7000个“王刚”，那么这5000个王刚和那7000个王刚到底是不是一个人？在没有身份证号码的情况下如何确定哪些王刚是一个人呢？常规的做法是去挖掘出“王刚”的其他信息，例如出生年月，任职信息，籍贯等等，然后通过一定的算法进行知识融合。通常，网站的数据不一定全面，即使经过知识融合后，挖掘的数据中一定会有大量的噪音，不同的需求对噪音的承受能力是不同的，构建schema的时候需要充分考虑数据出现噪音的可能性，去评价这部分需求对噪音的承受能力。

如果知识融合完成了话，大规模构建其实就是一个导数据的过程，由于图谱数据结构的关系，一般存2张表（点、边）或者使用RDFs存储，在entity数量上千万以后，图谱的查;询压力会比较大，单机查询可能会直接跪掉，开发一般会采用graphX的分布式的存储，不过由于点和边的切割方式的问题，会有一定的副作用。