P5 周志华：“数据、算法、算力”，人工智能三要素在未来还要加上“知识”

周志华：“数据、算法、算力”，人工智能三要素在未来还要加上“知识”

算法在获得了大量数据和算力的情况下，可能会爆发出极大的威力，但这需要高昂的成本，周志华教授认为，以后可以让工业界承担对性能的追求，学术界做探路和思考未来的事情。

反绎学习

逻辑推理可以非常容易的利用我们的知识，而机器学习比较容易利用数据、证据、事实。人类的决策往往既用到了知识，又用到的证据。那么是否可以把两者结合起来呢？在以往的实践中，都没有很成功。主要的障碍在于这两者是基于完全不同的表示方式的。

逻辑推理是基于一些逻辑规则描述出来的知识来帮助我们推理判断，而机器学习则是收集许多数据，使用数据训练一个模型出来，但获得的数据本身和逻辑很难兼容，例如逻辑中的“任意”，“存在”代表着无限大的数据集，又如若把“parent”当成一个属性，则逻辑句子刻画的并不是样本，而是样本间的联系。

在历史上，也有研究者尝试把逻辑推理与机器学习结合起来，大致可分为两个方向。

第一个方向是，做逻辑推理的学者尝试引入一些机器学习的基础技术或概念。最简单的例子是，对于每个逻辑子句来说，它要么是成立的的，要么是不成立的，而逻辑推理的学者给每个逻辑子句加上了一个权重，这个权重表示这个句子成立的概率。

第二个方向是，做机器学习的学者加入一些逻辑推理方面的东西。比如说，对于一个逻辑子句，如果他抽烟，那么他很有可能得癌症，我们就可以把任何一个X，如果他somke，和cancer连接起来，就是说，用逻辑子句帮助我们做网络的初始化，之后该怎样训练就怎样训练。

第一个方向是推理重而学习轻，第二个方向是学习重而推理轻，两者都没有充分的发挥推理个学习结合的威力，周志华教授提出了一个新的方案，Abductive learning。

反绎的意思就是从一个不完全的观测出发，得到一个集合很有可能的解释。

人类对现实问题的抽象上，通常有两种方法，一个是演绎，另一个是归纳。

演绎：从一般性原理出发，得到明确的结果。

归纳：从大量的事实总结出一般规律。

定理证明是演绎的代表，而机器学习则是归纳的代表，反绎学习就是把演绎反向嵌入到机器学习归纳中去。

我们现在的机器学习首先要有很多的instance，这是样本，要有很多的label，这是训练样本已经知道的结果，我们把它们合起来进行监督学习得到一个分类器。

反绎学习则是我们有一些样本，但只知道表现，不知道结果，同时还会有一个初始分类器，分类器一开始会猜测样本的表现，得到一个结果，然后我们利用知识库里的知识来发现是否有什么东西是不一致的，若有，我们是否能找到修改什么后，就能一致了。然后我们修改这个东西，得到一致的结果，这个修改的结果就叫反绎。

反绎出来的东西可以对原来分类器猜测的表现进行修正，得到新的结果，新的label，接下来我们用修改过的label和原来的数据一起训练一个新的分类器，这个过程可以一直进行下去，直到得到的事实和知识库完全一致。

在反绎学习中，我们利用了初始分类器和知识库中的知识代替label，进行了监督学习。

监督信息是来自数据之外的地方，从这个角度，反绎学习可以看做非常广义的弱监督学习，在实际的训练中，若是我们有label，完全可以把label加入到反绎学习中去。

反绎学习中的初始分类器可以用另一个任务的结果，甚至是数据聚类的结果也可以。关键点是，初始分类器不一定要很精确，只要能够把它启动起来就可以了。

当初始模型非常粗糙时，如果知识库的知识靠谱，那就能通过知识库的信息来修正分类器，能进行下去。如果知识不太精准，而初始模型比较好，也能往下学。如果两者都好，当然可以做得更好。

接下来就是知识库了，而知识库暂时只能由人类的专家进行提供。

我们现在经常在谈数据、算法和算力三要素，未来或许应该考虑进知识这个要素，知识凝聚了人类积累的智慧。过去十几年，我们都是从数据驱动的角度来研究人工智能，现在可能是时候把数据驱动和知识驱动结合起来了。