数学理论模型
介绍有关矩阵降维的意义、原理、推导、实践
NanciZhao
这个作者很懒,什么都没留下…
展开
-
SVD奇异值分解
前言(基础知识)1. 正交矩阵与正交变换正交变换:是将向量从一个空间旋转到另外一个空间的过程;正交矩阵:概念:若n阶矩阵A满足ATA=I,则A为正交矩阵,简称正交阵。A是正交矩阵,x为向量,则A·x称作正交变换;正交变换不改变向量长度。A·Bt(转至)的结果就是让B这个点在坐标上逆时针旋转°2. 非奇异矩阵与奇异矩阵如果方阵An*n满秩(Rank(A)=n),...原创 2019-11-06 19:07:01 · 267 阅读 · 0 评论 -
SVD算法原理
SVD: Singular Value Decomposition 奇异值分解;1. 特征值和特征向量的定义:Ax = qhetaxA是一个n*n的实对称矩阵,x是一个n为向量,原创 2019-08-27 10:51:10 · 1854 阅读 · 0 评论 -
PCA降维
一、降维问题想要做什么:(优化目标)将一组N维向量降为K维(K大于0,小于N),其目标是选择K个单位(模为1)正交基,使得原始数据变换到这组基上后,各字段两两间协方差为0,而字段的方差则尽可能大(在正交的约束下,取最大的K个方差)。1)导论随机变量的协方差协方差是对俩个随机变量联合分布线性相关程度的一种度量。两个随机变量越线性相关,协方差越大。完全线性无关,协方差为0.需...原创 2019-08-16 10:31:42 · 160 阅读 · 0 评论 -
主成分分析(PCA)
一、主成分分析:首先确定第一主成分方向,它是向量散度投影最大的方向;再确定第二主成分:在所有垂直第一主成分的方向中,选取散度投影最大的那个方向;第三主成分,垂直第一、二主成分,并且散度最大.....PCA的目标:投影之后的散度最大,散度由方差进行刻画。即降维的优化目标是:将一组N维向量降维K维(0<K<N),其目标是选择K个单位(模为1)正交基,使得原始数据变换到这组基上后...原创 2019-09-06 10:04:59 · 2647 阅读 · 0 评论 -
解决含有条件约束的优化问题——拉格朗日乘子法和KKT条件
一、要解决什么问题在求取有约束条件的优化问题时,拉格朗日乘子法和KKT条件是非常重要的两个求取方法。1)对于等式约束的优化问题,可以应用拉格朗日乘子法去求取最优值;2)如果含有不等式约束,可以用于KKT条件去求取。当然,这两个方法求得的结果只是必要条件,只有当是凸函数的情况下,才能保证是充分必要条件。二、解决问题的思路为什么拉格朗日乘子法和KKT条件能够起作用,为什么要这样...原创 2019-08-30 10:31:43 · 4541 阅读 · 0 评论 -
SMO算法推导
一、要解决什么问题经过漫长的探索,我们建立了SVM模型,但是这个模型中还剩下一个未知参数需要求解,SMO就是求解这个参数的一种高效方法。我们要解决的终极问题是: 做个变型就是: 这就是我们要解决的终极问题,后面所有的努力,都是为了寻找一组满足约束条件的a,让目标函数最小二、算法解决问题的思路其基本思想是:所有变量必须满足KKT条件,因为KKT条...原创 2019-08-29 12:20:19 · 761 阅读 · 0 评论 -
关于核函数
一、SVM为什么要引入核函数事实上,大部分时候数据并不是线性可分的,这个时候满足这样条件的超平面就根本不存在。我们知道SVM可以处理线性可分的情况,那么对于非线性的数据SVM咋处理呢。SVM的处理方法是选择一个核函数K(x1,x2),通过将数据映射到高维空间,来解决在原始空间中线性不可分的问题。二、核函数的原理核函数是将数据映射到更高维的空间后处理,但不用做这种显式映射,而是先对两个样...原创 2019-09-16 15:09:59 · 2168 阅读 · 0 评论 -
拉格朗日对偶性
原始问题,能够转换为对偶问题的条件是,优化的参数必须满足KKT条件一、解决什么问题原始问题:二、对偶问题三、原始问题转化为对偶问题的条件:...原创 2019-09-18 16:19:12 · 162 阅读 · 0 评论