机器学习基础-学习笔记 矩阵论

矩阵论

矩阵表示

在实数域上，大小为n*m的矩阵的集合可以表示为:

$$M(R^{n*m} = {A:A \in R^{n*m}})$$

因此，($M(R^{n*m), R}))$ 可作为线性空间，他们的距离distance(A, B) 满足非负性，对称性和三角不等式性。

范式

奇异值

通常，可以通过定义范式的形式来诱导距离,常用的范数有: $\forall A \in M(R^{n*m})$

$$||A||_1 = max{\{\sum_{i=1}^n | A_{i,1} | , \sum_{i=1}^n | A_{i,2} |, \dotsb, \sum_{i=1}^n | A_{i,m} | }\}$$

$$||A||_2 = A的最大奇异值$$

$$||A||_F = (\sum_{i=1}^n \sum_{j=1}^m(A_{i,j}^2)^{\frac{1}{2}})$$

$$||A||_{\infty} = max{ \{ \sum_{j=1}^m | A_{1, j} |, \sum_{j=1}^m | A_{2, j}|, \dotsb, \sum_{j=1}^m |A_{n,j}|\} }$$

$$||A||_{1, 2} = \sum_{i=1}^n(\sum_{j=1}^m(A_{i, j})^2)^{\frac{1}{2}}$$

$$||A||_{2, 1} = (\sum_{i=1}^n(\sum_{j=1}^m|A_{i, j}|)^2)^{\frac{1}{2}}$$

在实际的信号处理过程中，无论是构建损失项还是正则项，每一种范数都有其特定的物理意义，反映着数据的分布类型，或者蕴含着数据的先验特性。

通过范式诱导得到距离（距离空间），进而得到临近关系（邻域特性），根据这种关系就可以将线性空间（非线性变换可以通过线性变换的逼近来得到）进行剖分，当然剖分的子空间个数取决于邻域的半径。

矩阵的倒数的求解通常在机器学习中较为常用，如参数更新时所依赖的梯度的计算等。

假设对于输入信号x，输出信号y，之间的线性映射关系为

$$f(X) \triangleq A \centerdot x + b \approx y$$

其中A为投影矩阵，b为偏置项（其中A和b都可以为矩阵）。通常利用$L_2$ 范数来定义损失函数。

$$Loss(x, y) = \frac{1}{2} || A \centerdot x + b - y ||_2^2$$

其中待学习的参数为(A,b)。

过拟合现象

指数据样本量相比参数量而言较多，导致训练得到的模型十分依赖于该数据集，使得该模型的测试性能或者预测性能比较差，即在另一个数据集上的表现较差（需要说明的是这二个数据集的分布方式相同）。

矩阵的奇异值分解

对于任意一个矩阵$A \in R^{n*m}$，都有如下的表达式。

$$A = U \centerdot \sum \centerdot V^T$$

$$U^T \centerdot U = I_n$$

$$V \centerdot V^T = I_m$$

其中, $\sum$ 为对角矩阵，且 $U \in R^{n*m}$ 和 $V \in R^{n*m}$。

主成分分析

用到了矩阵的奇异值分解，通过奇异值的排序和信息利用率达到85%以上的准则确定主成分的个数。

通常，主成分分析是一种线性的降低纬度的方法。使用矩阵的奇异值分解的核心是逼近的思想，可以通过调整对角矩阵 $\sum$ 中的值来实现对矩阵A的刻画。