范数:首先,选择一个合适的矩阵范数来度量权重矩阵的“大小”。常见的矩阵范数包括:
- 1-范数(列和范数):矩阵所有列向量绝对值之和的最大值。
- 2-范数(谱范数):矩阵的最大奇异值。
- ∞-范数(行和范数):矩阵所有行向量绝对值之和的最大值。
- Frobenius范数:矩阵元素平方和的平方根,类似于向量的欧氏范数。
举例
1. 矩阵的1-范数(列和范数)
定义: 矩阵每一列元素绝对值之和的最大值。
2. 矩阵的2-范数(谱范数)
定义: 矩阵的最大奇异值。
3. 矩阵的∞-范数(行和范数)
定义: 矩阵每一行元素绝对值之和的最大值。
4. 矩阵的Frobenius范数
定义: 矩阵元素平方和的平方根。
通过这些具体例子,可以直观地看到不同矩阵范数如何衡量矩阵的“大小”或“强度”,进而理解它们在正则化过程中的作用。