神经网络与深度学习课程总结 （1）

一、线性回归

1.1 定义和学习过程

        利用数理统计中回归分析，来确定两种或两种以上变量间相 互依赖的定量关系的一种统计分析方法，学习过程如下图：

1.2 线性二分问题

          线性分类器则透过特征的线性组合来做出分类决定，以达到此种目的。线性分类器输入：特征向量输出：哪一类。如果是二分类问题，则为0和1，或者是属于某类的概率，即0-1之间的数。

        线性分类与线性回归差别：输出意义不同：属于某类的概率回归具体值参数意义不同：最佳分类直线最佳拟合直线维度不同：前面的例子中，一个是一维的回归，一个是二维的分类。

        我们需要最终概率结果在0-1之间，因此需要对值做一个变换：

       进而构造代价函数求解其最小值，继而使用梯度下降法求解。

二、多层前馈神经网络（BP网络）

2.1 XOR 问题与多层感知机（MLP）

XOR 是线性不可分问题：

• 单层感知机无法拟合 XOR。
• 需要引入隐藏层构建三层网络（输入层-隐藏层-输出层）：

常用的激活函数为：

2.2 MLP 逼近能力

• 定理 1：三层感知器可逼近任何二值逻辑函数；
• 定理 2：使用 S 型激活函数（如 Sigmoid、Tanh），可以逼近任何连续函数。

三、BP 算法（误差反向传播）

3.1 过程分为两步：

正向传播（Forward）：

输入 → 隐层 → 输出，计算预测结果。

反向传播（Backward）：

计算损失函数，使用梯度下降法更新参数。

3.2 常用损失函数

均方误差（MSE）： 

3.3 权值更新公式（链式法则）： 

输出层：

隐含层：

更新权重：

 四、卷积神经网络

4.1 核心组件

卷积层（Convolution）：

池化层（Pooling）：

4.2 CNN反向传播简要公式

卷积层的梯度：

池化层误差传递：

• 最大池化：误差传递给最大值所在位置；
• 平均池化：误差均分传递

五、本周重点知识点总结

• MLP 可解决非线性问题，需借助 BP 算法学习参数；
• CNN 可用于图像处理，依靠局部连接、共享权重、池化降低复杂度；
• PyTorch 框架学习实践基础，掌握张量与计算图使用；
• 常用数据集的特点与应用场景需了解，支持实验与研究。