矩阵论
矩阵表示
在实数域上,大小为n*m的矩阵的集合可以表示为:
因此,( M(Rn∗m),R)) 可作为线性空间,他们的距离distance(A, B) 满足非负性,对称性和三角不等式性。
范式
通常,可以通过定义范式的形式来诱导距离,常用的范数有: ∀A∈M(Rn∗m)
在实际的信号处理过程中,无论是构建损失项还是正则项,每一种范数都有其特定的物理意义,反映着数据的分布类型,或者蕴含着数据的先验特性。
通过范式诱导得到距离(距离空间),进而得到临近关系(邻域特性),根据这种关系就可以将线性空间(非线性变换可以通过线性变换的逼近来得到)进行剖分,当然剖分的子空间个数取决于邻域的半径。
矩阵的倒数的求解通常在机器学习中较为常用,如参数更新时所依赖的梯度的计算等。
假设对于输入信号x,输出信号y,之间的线性映射关系为
其中A为投影矩阵,b为偏置项(其中A和b都可以为矩阵)。通常利用 L2 范数来定义损失函数。
其中待学习的参数为(A,b)。
过拟合现象
指数据样本量相比参数量而言较多,导致训练得到的模型十分依赖于该数据集,使得该模型的测试性能或者预测性能比较差,即在另一个数据集上的表现较差(需要说明的是这二个数据集的分布方式相同)。
矩阵的奇异值分解
对于任意一个矩阵 A∈Rn∗m ,都有如下的表达式。
其中, ∑ 为对角矩阵,且 U∈Rn∗m 和 V∈Rn∗m 。
主成分分析
用到了矩阵的奇异值分解,通过奇异值的排序和信息利用率达到85%以上的准则确定主成分的个数。
通常,主成分分析是一种线性的降低纬度的方法。使用矩阵的奇异值分解的核心是逼近的思想,可以通过调整对角矩阵 ∑ 中的值来实现对矩阵A的刻画。