【科研积累】NSAI 神经符号人工智能 学习笔记

神经符号的历史沿革

神经符号集成主要是为了利用神经网络捕捉符号和进行逻辑推理。

古早的人工智能理论，符号是其中的一个流派，是建立在数理逻辑上的，运用符号和规则，可以进行逻辑推理，使得人工智能系统具有可解释性。

符号和机器学习结合，诞生了归纳逻辑编程，简单来说就是，先给一些规则，机器学习了规则之后，提供数据集给机器，机器从规则里面搜寻，寻求一个最合适的规则结合方式，最后得到一个处理数据的程序。

但是复杂度高，容易被噪声带跑偏，后面人们就去做深度学习去了，没往符号上考虑。

深度学习神经网络通过学习大量数据来获取模式和规律。而符号推理则侧重于基于逻辑和推理规则进行思考和决策。

深度学习缺乏可解释性，但是可解释性又是AI系统所需要的，基于逻辑的符号方法又具备这种能力，因此结合deep learning和符号逻辑的方法很重要，这会是AGI的一条实现道路。

虽然dl和符号结合的研究尚且不多，但是神经-符号集成（Neural-Symblic Integration, NSI）学习与推理这个课题有很多研究。

虽然抽象的层次通常由神经网络的隐藏层呈现，但也可以将其视为 "重复许多子公式构成的复杂命题式"。

神经符号循环是一个著名的NSI架构，通过数据得到一个符号模型，然后转化为神经网络模型，在这个基础上进行结构和权重的学习改进，最后提取符号模型，完成一个循环，进行多轮循环进行迭代改进。

神经网络不是一成不变的布尔线路，因为输入不是固定数量的独立命题值，所以跟符号模型不可混淆。

核心难题在于，如何将可能无限变化的关系推理结构有效地编码为神经网络的优先固定结构。

这尽管目前引入的特定动态深度学习模型（如GNNs）主要基于特定的图传播启发式推理方法，尚未达到通用推理器的水平，但动态神经计算的范式为神经网络中正确反映关系逻辑推理提供了可能性。

explainability and interpretability

最好的翻译方式是“可解释性”和“解释性”。

explainability：可解释性，指的是模型决策的可解释性，模型本身很复杂，但是可以用一套解释方法来解释模型的输出。例如，对于一个心脏病风险预测任务，我们可以使用SHAP来展示哪些特征对心脏病风险预测的贡献度最大，即便我们不能直观理解整个网络的工作机制和过程，我们也能理解这个决策是和哪些因素相关的。

interpretability：解释性，指的是模型本身的清晰度和直观性，其决策过程和内部工作原理容易理解，则我们说这个模型具有解释性。对于同样的心脏病风险预测任务，如果我们使用逻辑回归模型，就可以直接查看每个特征的系数，了解它们是如何影响心脏病风险的。例如，我们可能发现年龄、血压和胆固醇水平是影响心脏病风险的重要因素。

NSAI

NSAI，也就是神经符号人工智能，其兼具两个领域的优点，将擅长从熟悉的例子中快速获得直觉的神经网络与使用形式逻辑和其他推理工具的明确符号系统相结合。类似于“思考，快与慢”的理念，一个系统提供快速、“直观”的想法，另一个系统提供更慎重、更理性的决策。

当前由DNN主导的AI系统在计算需求（能耗）、鲁棒性（对新情况的适应性）和可解释性方面面临许多挑战，而神经符号AI（NSAI）通过融合神经、符号和改了方法，提升了AI系统的解释性、鲁棒性和可信度，减少了对大量数据的依赖。

在NSAI系统中，神经网络负责从数据中提取复杂的特征和partern，符号方法通过引入逻辑规则和知识库来解释这些特征和partern，概率方法则用于处理不确定性和噪声。