sherryllll

版权声明：    本文由LeftNotEasy发布于http://leftnoteasy.cnblogs.com, 本文可以被全部的转载或者部分使用，但请注明出处，如果有问题，请联系wheeleast@gmail.com前言：    上一次写了关于PCA与LDA的文章，PCA的实现一般有两种，一种是用特征值分解去实现的，一种是用奇异值分解去实现的。在上篇文章中便是基于特征值

要理解协方差矩阵，我们从以下几个步骤来说 方差——>协方差——>协方差矩阵。这样更能理解它的由来和意义，本文主要讲意义和python里的使用，其实协方差矩阵有很强的实际意义和应用实例，有机会再补充。方差在概率论中我们学过期望和方差的概念。 期望 参见wiki中的数学定义如下： 方差 一个随机变量的方差描述的是它的离散程度，也就是该变量离其期望值的距离。 方差的算术平方根称为该随机变量的标

特征向量和特征值（eigenvector and eigenvalue）维基百科-特征向量 在数学上，特别是线性代数中，对于一个给定的线性变换 A\mathbf A ，它的特征向量（eigenvector，也译固有向量或本征向量） v\mathbf v 经过这个线性变换之后，得到的新向量仍然与原来的 v\mathbf v 保持在同一条直线上（平行），但其长度或方向也许会改变。即 Av=λv\m

概述最优化问题的一般数学模型： min f(x)min\ f(\mathbf x) s.t. hi(x)=0,i=1,...,m;s.t. \ h_i(\mathbf x) = 0,\quad i=1,...,m; gj(x)≥0,j=1,...,p.\qquad g_j(\mathbf x)\ge0, \quad j=1,...,p.其中x\mathbf x是n维向量，在实际问题中也被叫