神经符号学习报告

一、 三类神经符号系统的整理
针对1.2.1对神经符号的三类（学习辅助推理、推理辅助学习、学习-推理）涉及的方法进行了一些梳理
学习辅助推理（Learning for Reasoning）
思想：通过神经网络来辅助符号推理过程。
方法：
神经符号概念学习器（NS-CL）：使用神经符号推理作为桥梁，协同学习视觉概念、词汇和句子的语义解析，帮助模型自动从数据中学习符号知识。
马尔可夫逻辑网（NMLN）与关系神经机器（RNM）：将神经网络与马尔可夫逻辑网结合，自动从数据中学习规则，辅助符号推理过程，提升推理效率。
神经逻辑归纳学习（NLIL）：使用神经网络和逻辑结合的方法，通过分而治之的策略有效学习复杂规则，提升符号推理的学习能力。
推理辅助学习（Reasoning for Learning）
思想：通过符号推理过程辅助神经网络的学习任务。
基本原理：
SBR 语义正则化：通过逻辑约束对假设空间进行正则化，如果模型的行为违背了这些逻辑约束，则通过损失函数进行惩罚，从而使模型更符合逻辑规则。
SL 方法语义损失：将命题逻辑嵌入到神经网络的损失函数中，作为额外的约束，帮助网络学习更加符合逻辑规则的特征。
HDNN（逻辑规则辅助深度学习）：结合逻辑规则与深度神经网络，使用知识蒸馏的方式，将规则信息通过一个已训练的教师网络传递给学生网络，提升模型对规则的理解能力。
LENSR（逻辑嵌入网络）：将命题逻辑嵌入视觉关系检测模型中，使模型的输出与规则中的谓词标签对齐，从而增强深度模型的关系检测能力。
KGTN 知识图谱迁移网络模型：解决小样本图像分类任务
SEKB-ZSR 结合语义表示与知识图谱的零次识别和DGP密集图传播利用类别知识图谱的语义分类器权重来约束视觉分类器权重的学习，实现知识迁移
CA-ZSL 基于上下文的零次学习方法, 随机场对类别之间的语义关系图谱建模，辅助对不可见类别目标的识别
学习-推理方法（Learning-Reasoning）
思想：神经网络和符号推理互相促进，共同作用来解决问题。
基本原理：
DeepProbLog：通过结合神经网络和逻辑推理进行端到端训练，将神经网络输出的类别分布作为神经谓词，并通过ProbLog描述问题，使用梯度半环进行优化。
反绎学习（ABL）：将反绎推理与归纳结合，首先用机器学习模块输出伪标签，通过符号推理模块进行反推，修正错误标签。
Weakly Supervised Neural Symbolic Learning (WS-NeSyL)：基于弱监督学习框架，通过符号推理进行抽样来优化学习过程，与反绎学习的框架有所不同。

二、 对第二章相关知识的整理

1. 神经符号系统概述
   • 提出模型目标函数： 即找到一个函数F，能够有效地 将数据x和符号s（预先定义或通过计算获得）映射到真实值y
   • 目标融合神经网络对“非结构化数据”的学习能力与符号系统对“结构化知识”的推理能力
   • 神经系统使用分布式向量表示，符号系统使用逻辑规则、知识图谱等表示。
2. 神经符号目前五个应用的研究领域
   • (1) 视觉关系检测与图像识别
   • 问题背景：仅依赖视觉特征易导致鲁棒性差、不可解释；
   • 方法：
   • 引入外部知识、知识库；
   • 运用马尔可夫逻辑网或一阶谓词逻辑；
   • 逻辑张量网络支持从噪声数据中推理；
   • 优势：提升模型解释性、泛化性和对复杂场景的适应能力。
   • (2) 自然语言处理
   • 任务例子：问答系统、语言理解；
   • 关键技术：将句法结构、知识图谱中的符号知识与语言模型结合；
   • 应用框架：例如WS-NeSyL，可处理弱监督数据，提供可解释的语言推理。
   • (3) 医疗图像诊断
   • 挑战：小样本、可解释性需求高；
   • 方案：将医学知识（逻辑规则）与神经诊断模型融合，提升诊断准确率与可追溯性。
   • (4) 遥感图像分析
   • 用途：地质勘探、环境监测；
   • 方案：结合符号规则进行区域划分、目标识别；
   • 优势：减少标注成本，增强对遥感图像的理解。
   • (5) 安防监控系统
   • 目标：识别复杂行为、异常检测；
   • 技术路径：结合视频中提取的对象关系（如“人在门前”）进行命题逻辑建模。
3. 一阶谓词逻辑
   • 用于表达符号知识；
   • 结构上包括常量、谓词、函数、变量和量词；
   • 是构建神经符号推理规则的重要语言工具。
4. 统计关系学习（SRL）
   • 用于学习结构化符号与概率关系；
   • 可建模符号之间的不确定性；
   • 主要框架包括：马尔可夫逻辑网（MLN）、概率图模型。
5. 马尔可夫逻辑网（MLN）
   • 将一阶谓词逻辑与概率图融合；
   • 每个公式有对应的权重，表示其可信度；
   • 应用于图像关系建模、知识不完备场景下的推理。
6. T-Norm模糊逻辑
   • 用于建模不完全逻辑关系；
   • 引入逻辑软约束，允许“部分满足”逻辑规则；
   • 是提高系统容错性与适应性的关键。