神经网络可解释性基础知识综述

场景：

1. 电脑诊断病例，你是否会相信
2. 给电脑输入一张图片，你是否会相信这是一条狗

神经网络的可解释性（interpretability）定义

是指人们对于神经网络模型的输出结果能够被人理解和解释的程度。

神经网络的结构大都是黑盒模型，黑盒模型指的是在模型的输入和输出之间存在一定的映射关系，但具体的映射方式不太清楚或难以解释的模型。例如，神经网络的内部参数和结构通常很难被理解，导致模型的预测结果很难被解释。

“只知其然”变为“知其所以然”

神经网络的可解释性与什么都有关系？

1. 首先就是神经网络的结构。例如，一个浅层的神经网络可能比深层网络更容易解释。这是因为浅层网络的每一层对应的是输入的直接变换，而深层网络的每一层可能对输入进行多次复杂的非线性变换，增加了模型的复杂性和难以解释性。
2. 其次，神经网络的学习过程也对其可解释性产生影响。一种常见的方法是通过特征重要性或激活热力图等方式来解释网络的预测结果。例如，可以通过可视化网络中每个神经元的激活情况来理解模型对于不同输入的敏感度。另一种方法是使用生成对抗网络（GAN）等技术生成样本来解释网络的决策规则。
3. 此外，解释性也与任务的特性有关。例如，对于图像分类任务，研究者可以通过可视化网络的卷积层来理解网络在识别物体时所关注的特征。

神经网络要做什么工作？

根据输入X，经过一系列操作，去拟合预估值Y，使之与真实值Y重合

       

神经网络大体可以分为哪几种类型？

前馈神经网络

1. 也被称为多层感知机，不同神经元属于不同的层，由输入层，隐藏层和输出层构成，信号从输入层向输出层单向传递，中间无反馈，其目的时为了拟合某个函数，由一个有向无环图表示。

前馈神经网络中包含激活函数（sigmoid函数、tanh函数等）、损失函数（均方差损失函数、交叉熵损失函数等）、优化算法（BP算法）等。

激活函数：就是在神经网络的神经元上运行的函数,负责将神经元的输入映射到输出端。value 必须是非线性的，使前面输入的X变得有限，

损失函数：拟合值和真实值之间的差距，即损失函数，通常用最简单的均方误差来表示，即这个值与真实值的差距的平方

我们目的就是通过调整线性操作的参数，使得损失函数最小

以下是一些常用的损失函数及其公式：

1. 均方误差（Mean Square Error，MSE）：

MSE常用于回归问题，计算预测值与实际值之间的平均差异。

公式：MSE = 1/N * Σ(y - ŷ)^2，其中N表示样本数量，y表示实际值，ŷ表示预测值。

1. 交叉熵损失（Cross Entropy Loss）：

交叉熵损失常用于分类问题，衡量预测类别与实际类别之间的差异。

二元交叉熵公式：CE = - (y * log(ŷ) + (1-y) * log(1-ŷ))，其中y表示实际类别（0或1），ŷ表示预测概率（0到1之间）。

多类交叉熵公式：CE = - Σ(y * log(ŷ))，其中y表示实际类别的one-hot编码，ŷ表示预测类别的概率向量。

1. KL散度（Kullback-Leibler Divergence）：

KL散度用于衡量两个概率分布之间的差异。

KL散度的公式：KL(P||Q) = Σ(P(x) * log(P(x)/Q(x)))，其中P和Q分别表示两个概率分布。

Hinge损失（Hinge Loss）：

Hinge损失通常用于支持向量机（SVM）中，用于处理二分类问题。

Hinge损失的公式：HL = max(0, 1 - y * ŷ)，其中y表示实际标签（-1或1），ŷ表示预测标签。

常用的模型结构有：卷积神经网络（CNN），BP神经网络，RBF神经网络，感知神经网络，生成对抗网络（GAN）。

其中生成对抗网络（GAN）是由前馈神经网络组成的模型。

GAN由生成器（Generator）和判别器（Discriminator）两个神经网络组成。生成器接收一个随机噪声向量作为输入，并通过前向传播生成一个样本。判别器接收一个样本（可以是生成器生成的样本或真实样本），并通过前向传播输出该样本是真实样本的概率。    

卷积神经网络是一类包含卷积运算且具有深度结构的前馈神经网络

大体就是先输入，经过线性操作L ，再经过一个隐藏层神经元R 实际上就是一个非线性操作R 再经过一次线性操作L，最后得到输出。

神经网络大多是完成一种离散的，非线性的拟合任务

输入层（Input Layer）：接收原始数据或特征作为神经网络的输入。在图像处理任务中，输入层通常表示原始图像的像素值。

卷积层（Convolutional Layer）：通过卷积操作来提取图像的特征。卷积层由一组卷积核组成，每个卷积核在输入上滑动进行卷积操作，生成一系列的特征图。卷积层可以捕获输入中的局部结构和模式。

池化层（Pooling Layer）：对特征图进行降采样（下采样）操作，进一步减少特征图的维度。常见的池化操作有最大池化和平均池化，它们可以提取出特征的重要性和空间不变性。

全连接层（Fully Connected Layer）：也称为密集连接层或隐藏层，将前一层的输出与当前层的所有神经元进行连接。全连接层可以综合之前层级提取的特征，并且通过引入非线性激活函数（如ReLU）来增加网络的非线性能力。

输出层（Output Layer）：通过激活函数（如softmax，Sigmoid等）将全连接层的输出映射到预期的输出格式。输出层通常根据任务的需求，可以是分类问题的类别概率，回归问题的数值预测等。

这些层次结构的组合和堆叠构成了神经网络模型，可以通过反向传播算法来训练和优化模型的参数，以提高模型的性能和准确性。这些基本层次的特定组合和结构可以根据具体任务和需求进行调整和扩展。

线性操作L   Y=aX+b

权重 a   就是权重位置

偏置 b   就是bias偏置

反馈神经网络

反馈神经网络的输出不仅与当前输入以及网络权重有关，还和网络之前的输入有关。他是一个有向循环图或无向图，具有很强的联想记忆能力和优化计算能力。

常用的模型结构有：循环神经网络（RNN），Hopfield网络，玻尔兹曼机，LSTM等。

循环神经网络（RNN）是指在全连接神经网络的基础上增加了前后时序时的关系，可以更好地处理序列数据。常见的RNN网络有 LSTM，BLSTM，GRU等，被广泛应用于语义分析、情感分析、图像文本标注和语言翻译等任务。

图神经网络（GNN）

图是一种在拓扑空间内按图结构组织关系推理的函数集合，包括设计网络，知识图谱，分子图神经网络等，图神经网络是直接在图数据结构上运行的神经网络，即在图数据结构上面进行端对端的计算。

图神经网络主要的网络模型有：图卷积网络，图自编码器，图生成网络，图循环网络，图注意力网络。

可研究方向方向：

1. Machine learning 到 machine teaching（人工智能教人类学习）
2. 细粒度图像分类
3. Chatgpt

可解释性好的机器学习算法：

1. K近邻算法
2. 逻辑回归算法
3. 线性回归
4. 决策树
5. 朴素贝叶斯