线性代数（李沐老师课程）

1.特征值，行列式等

2.标量的基本操作

3.向量的基本操作

4.向量的点乘和正交

5.矩阵的基本操作

5.2矩阵范数的含义

范数在深度学习中扮演着至关重要的角色，主要用于模型训练过程中的正则化、损失函数的设计、梯度裁剪、模型评估等方面。以下是范数在深度学习中的具体应用：

1. 正则化（Regularization）

范数常用于模型的正则化，以防止模型过拟合。通过添加一个正则项到损失函数中，可以限制模型参数的大小，从而简化模型。最常见的两种正则化方法是L1正则化和L2正则化：

• L1正则化：通过添加参数向量的L1范数（即参数绝对值之和），L1正则化鼓励参数稀疏化，导致一些参数变为零。这种正则化有助于特征选择，因为它倾向于保留那些对目标变量影响最大的特征，而忽略其他特征

• L2正则化：通过添加参数向量的L2范数（即参数平方和的平方根），L2正则化使得所有参数的值都较小但不为零。这有助于平滑模型，减少过拟合的风险

2. 损失函数（Loss Function）

范数可以被用作损失函数的一部分来度量预测值与真实值之间的差距。常见的损失函数包括均方误差（MSE，对应L2范数）和平均绝对误差（MAE，对应L1范数）

• 均方误差（MSE）：这是一种基于L2范数的损失函数，它测量预测值与实际值之间差的平方和。

• 平均绝对误差（MAE）：这是一种基于L1范数的损失函数，它测量预测值与实际值之间差的绝对值之和。

3. 梯度裁剪（Gradient Clipping）

梯度裁剪是一种技术，用于防止训练过程中梯度爆炸。当梯度变得过大时，可能会导致参数更新不稳定或发散。通过限制梯度的L2范数，可以保证其不会超出某个阈值。

4. 模型评估

范数也可以用来评估模型的复杂度或衡量两个模型间的差异。例如，可以通过比较两个模型权重矩阵的范数来判断它们之间的相似程度。

5. 特征选择和模型压缩

在模型压缩和特征选择中，范数可以帮助确定哪些参数可以被忽略或移除。例如，通过应用L1范数，可以识别出哪些权重较不重要，从而实现模型的剪枝。

6. 异常检测

在异常检测领域，范数可用于衡量输入数据与正常数据模式之间的距离。如果输入数据的特征向量相对于已知正常模式的特征向量具有较大的范数，则该输入可能被视为异常。

7. 注意力机制

在自然语言处理和其他序列建模任务中，注意力机制使用范数来标准化权重分布，确保注意力权重之和为1，这有助于模型集中注意于输入序列的关键部分。

范数的选择和使用取决于具体的应用场景和目标。开发人员需要根据手头的任务来选择合适的范数类型，以达到最佳效果。

8.L1范数和L2范数

6.特殊矩阵

7.特征值特征向量