神经网络与深度学习课程总结一

•  多层感知机

多层感知机（Multilayer Perceptron, MLP）是一种基本的人工神经网络模型，由一个输入层、若干个隐藏层和一个输出层组成。每个层包含多个神经元，神经元之间通过连接权重进行连接。多层感知机是一种前馈神经网络，即信号只能从输入层经过隐藏层传递到输出层，不存在反馈连接。

 

• BP算法 

 

BP（Back-Propagation）算法是一种用于训练人工神经网络的基本算法。它是一种通过计算梯度并反向传播误差来调整神经网络权重的算法。BP算法主要用于多层感知机（MLP）等前馈神经网络的训练。BP算法的基本思想是利用训练数据集中的样本与实际输出之间的误差来调整神经网络中的连接权重，使得网络输出尽可能接近期望输出。

 

• 性能优化

模型初始化：

对神经网络的权重进行初始化。常用的方法是将权重初始化在[-1, 1]区间内，按均值或高斯分布进行初始化。其中，Xavier初始化是一种常用的方法，旨在使每一层输出的方差尽量相等。

 

训练数据与测试数据划分：

将数据集划分为训练数据、验证数据和测试数据。当数据量很大时，可以适当减少训练和验证数据的比例。

K折交叉验证：

将原始训练数据划分为K个不重叠的子集。进行K次模型训练和验证，每次在K-1个子集上进行训练，剩余的一个子集用于验证。最后，通过对K次实验结果取平均来估计训练和验证误差。

欠拟合与过拟合：

欠拟合指模型在训练和测试数据集上都表现出较大的误差；

过拟合指模型在训练数据集上表现出较小的误差，但在测试数据集上误差较大。

需要通过合适的调整模型复杂度和使用正则化技术等方法来解决欠拟合和过拟合问题。

 

权重衰减（L2正则化）：

为了防止过拟合和权重震荡，引入一个新的指标函数项。

通过对权重的平方进行惩罚，限制权重的大小。