线性代数
文章平均质量分 76
笨笨小菜
这个作者很懒,什么都没留下…
展开
-
SVD分解
奇异值分解(Singular Value Decomposition,以下简称SVD)是矩阵分解中三大分解方法之一,另外2个为LR分解以及QR分解。奇异值分解对矩A进行分解,得到了3个矩阵的乘积:改:右奇异向量,是A^TA的正交特征向量。S是A^TA也是AA^T的特征值平方根。也就是说,左奇异矩阵可以用于行数的压缩。相对的,右奇异矩阵可以用于列数即...原创 2018-04-14 22:22:57 · 3276 阅读 · 0 评论 -
最小二乘法
最小二乘法(又称最小平方法)是一种数学优化技术。它通过最小化误差的平方和寻找数据的最佳函数匹配。利用最小二乘法可以简便地求得未知的数据,并使得这些求得的数据与实际数据之间误差的平方和为最小。最小二乘法还可用于曲线拟合。其他一些优化问题也可通过最小化能量或最大化熵用最小二乘法来表达。 最小二乘法是一种求解无约束最优化问题的常用方法,并且也可以用于曲线拟合,来解决回归问题。最小...原创 2018-04-12 14:30:45 · 3115 阅读 · 0 评论 -
LR分解
在数值进行计算时,LR分解不单是最常用的方法之一,还是众多算法的基础。给定方阵矩阵A,通过LR分解将A分解成下三角矩阵L和上三角矩阵U的乘机,成为LR分解,也称LU分解。而我们希望得到对角线是1,如下图所示。而在非方阵A中,我们希望得到如下图。 一旦完成了LR分解,利用L和U的性质,去求行列式的值或者方程组的值。利用LR的上三角矩阵或者下三角矩阵可以减少计算的次数。 该方法...原创 2018-04-13 10:09:19 · 5420 阅读 · 0 评论 -
线性代数定义
标量:一个标量就是一个单独的数,将会用斜体表示标量,通常被赋予小写的变量名称。向量:向量是有序的数字组成的数组,我们可以通过索引拿到任何一个数,同时我们将向量看作成一个空间点的坐标,如向量在空间中表示为一条线段并且是有方向的,代表了向量的长度和方向运算:(1)加法(2)乘法两个向量正交的意思是两个向量的内积为 0向量空间:加法和数量乘法,依然可以用有向线段来解释,对于这样一个附加加法与数量乘法运算...原创 2018-04-13 10:09:48 · 3937 阅读 · 0 评论 -
QR分解
QR方法是Francis于1961年发表的用于求解所有特征值的算法呢。该算法对对称矩阵和非对称矩阵都适用,都可以分解成正交矩阵Q和上三角矩阵R乘机的形式。但是在实际应用中,需要先进行相似变化在OR分解。其中,对于非对称矩阵,需要利用Hessenberg矩阵;而对于对称矩阵,需要利用三对角矩阵。如果再加上最后要讲的原点位移、降阶等技巧,整套算法会变得相当复杂。该方法是利用2个正交矩阵的...原创 2018-04-15 13:59:15 · 23763 阅读 · 2 评论 -
梯度下降法
梯度下降法的定义就是从百科上拿下来的,梯度下降是迭代法的一种,可以用于求解最小二乘问题(线性和非线性都可以)。在求解机器学习算法的模型参数,即无约束优化问题时,梯度下降(Gradient Descent)是最常采用的方法之一,另一种常用的方法是最小二乘法。在求解损失函数的最小值时,可以通过梯度下降法来一步步的迭代求解,得到最小化的损失函数和模型参数值。反过来,如果我们需要求解损失函数...原创 2018-04-20 13:01:48 · 1455 阅读 · 0 评论