“神经+符号”:从知识图谱角度看认知推理的发展

“神经+符号”:从知识图谱角度看认知推理的发展


                          原作者:2020.09 王昊奋

一、神经+符号发展历程

   在过去十年的人工智能浪潮中,以深度学习为代表的人工智能技术已基本实现了视觉、听觉等感知智能,但依然无法很好地做到思考、推理等认知智能。因此,具有推理、可解释性等能力的认知智能研究毫无疑问将越来越受到重视,成为未来人工智能领域重要的发展方向之一。
  研究人员的嗅觉无疑是最敏锐的。例如,ACM图灵奖获得者约书亚·本吉奥(Yoshua Bengio)在NeuIPS 2019的特邀报告中明确提到,深度学习需要从系统1(System 1)到系统2(System 2)转化。注:这里所说的System 1和System 2是指认知科学中的双通道理论,其中System 1表示直觉的、快速的、无意识的、非语言的、习惯的认知系统,这也是目前深度学习技术擅长的事情;System 2则表示慢的、有逻辑的、有序的、有意识的、可用语言表达以及可推理的系统,这是未来深度学习需要着重考虑的研究方向。
  神经系统擅长处理非结构化的数据(如文本等)。目前的主流模型以端到端为主,常见的应用场景有机器翻译、语音识别、简单问题智能问答(如,姚明的身高是多少?)等;而符号系统主要以结构化的数据库为主,且通常支持结构化的查询、推理引擎等,能够实现复杂问题的求解(如,美国是农业出口大国,为什么还要进口咖啡?)ACM图灵奖获得者莱斯利·瓦利安特(Leslie Valiant)曾精辟地指出:神经系统侧重对数据特征的学习过程,而符号系统包含的一定是一个搜索过程,后续大量面向符号系统的研究本质上致力于各种高效的搜索算法。神经系统可以轻松应对简单的视觉问答场景(如,图中有几只长颈鹿?),但是如果需要回答更复杂的问题(如,图中动物和斑马有哪些共同属性?),则必须借助外部的符号知识(如知识图谱)进行认知推理,才能完成求解过程。

二、技术手段

  神经助力符号(neural for symbolic)这类方法的特点在于将神经网络的方法应用在传统符号系统的问题求解,通常主要用来解决浅层次的推理问题。例如采用知识图谱表示学习(knowledge graph embedding)、图神经网络(Graph Neural Networks,GNN)等技术进行知识图谱的补全,其特点是用统计推理代替逻辑演绎;还有采用循环神经网络(Recurrent Neural Network,RNN)、图卷积神经网络(Graph Convolutional Network,GCN)等技术进行多跳智能问答
  符号神经(symbolic for neural)这类方法的特点在于将符号的方法应用在神经网络的训练过程中。例如,使用逻辑规则在深度神经网络中进行数据的编审(data curation)[6];将知识图谱应用在远程监督、少样本、零样本的模型和场景中
  最近有一类研究叫做可解释的人工智能(explainable AI)[9],其主要思想是利用知识图谱中的事实或规则,对神经网络训练过程中的行为进行解释,进而提高神经网络的可解释性。值得一提的是,清华大学唐杰等人最新提出的认知图谱,就是“神经+符号”与“System 1+System 2”在可解释人工智能方面的尝试,旨在用符号知识的表示、推理和决策来解决深度学习求解过程的黑盒问题。

三、展望

未来关于“神经+符号”的研究中可能涉及到的关键问题和挑战包括:

  1. 知识的表示:建模多模态、时空、事件等非结构化数据的符号知识表达;
  2. 推理的实用性和效率:将神经的方法用来实现深层推理或加速传统符号推理的效率;
  3. 人在回路和可解释性:将专家或用户的反馈加入系统考虑并确保系统求解过程的可解释性。
  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
### 回答1: 基于神经网络知识图谱推理模型有很多种,例如: 1. 基于规则的神经网络模型:这类模型通过规则来推理知识图谱中的实体和关系。 2. 基于深度学习的神经网络模型:这类模型通过深度学习技术来推理知识图谱中的实体和关系。 3. 基于知识蒸馏的神经网络模型:这类模型通过蒸馏知识来推理知识图谱中的实体和关系。 4. 基于可解释性的神经网络模型:这类模型注重可解释性,关注如何解释模型在推理过程中的决策。 ### 回答2: 基于神经网络知识图谱推理模型有多种,下面列举几种常见的模型。 1. Graph Convolutional Networks(图卷积网络):该模型利用神经网络知识图谱中的节点和边进行表示学习,通过将节点的邻居节点信息聚合来更新节点表示,以实现对知识图谱中节点的推理和链接预测。 2. Graph Attention Networks(图注意力网络):该模型通过引入注意力机制,能够动态地对不同节点在信息传递过程中的贡献进行加权,提高节点的表示学习能力。 3. Knowledge Graph Embedding Models(知识图谱嵌入模型):该模型通过将知识图谱中的实体和关系映射到低维向量空间,从而在向量空间中计算实体之间的相似度或关系的强度。常见的模型包括TransE、TransH、TransR等。 4. Recurrent Neural Networks(循环神经网络):该模型在对知识图谱中的序列数据进行推理时具有优势,它能够处理具有时序关联性的数据。利用LSTM或GRU等循环神经网络结构,可以对知识图谱中的序列进行学习和预测。 5. Neural Tensor Networks(神经张量网络):该模型通过引入张量运算,能够对知识图谱中的关系进行更复杂的建模。它能够学习关系之间的高阶关联性,提高对知识图谱推理能力。 这些基于神经网络知识图谱推理模型各自具有优势和适用范围,在不同的任务和场景下可以选择适合的模型进行使用。 ### 回答3: 基于神经网络知识图谱推理模型有以下几种: 1. 基于图卷积神经网络(GCN)的推理模型:GCN是一种针对图结构数据的神经网络模型,能够利用图中节点的邻居信息进行推理。在知识图谱推理中,可以将实体和关系表示为节点,通过GCN进行节点之间的信息传递,从而进行推理。 2. 基于注意力机制的推理模型:注意力机制能够对不同节点或边的重要性进行加权,将更关键的信息聚焦在推理过程中。在知识图谱推理中,可以使用注意力机制对实体和关系进行建模,通过计算不同节点之间的相似度来确定推理结果。 3. 基于多跳推理神经网络模型:多跳推理是指通过多次迭代推理来获得更加准确的结果。在知识图谱推理中,可以通过基于神经网络的多跳模型来对实体和关系之间的关联进行多次推理,以获取更全面的结论。 4. 基于生成模型的推理模型:生成模型可以通过对知识图谱中的实体和关系进行生成,来获得推理结果。在知识图谱推理中,可以使用生成模型对知识图谱进行建模,并通过生成的过程来进行推理。 需要注意的是,以上仅列举了一些常见的基于神经网络知识图谱推理模型,实际运用中还有其他更多的模型和方法。此外,不同的模型适用于不同的推理任务和应用情况,需要根据具体的需求选择合适的模型。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值