前情回顾:
Principal component analysis(PCA)--主成分分析1.0
(本节主要内容请参考“总结”或目录)
在进入PCA算法的推导之前,我们需要先熟知几个核心数学概念
Mathematical Background
拉格朗日数乘法
对于某个具有约束条件的函数,我们常用拉格朗日数乘法求解该函数的极值
Suppose we want to optimise f(x) subject to some constraint, 'g(x)=0'
Then we define a new objective:
and optimise with respect to both x and λ
特征值与特征向量
对于某个方阵 A ,如果存在
则称向量 u 为方阵 A 的特征向量(eigenvector),λ 为方阵 A 的特征值(eigenvalue)
矩阵求导
![](https://i-blog.csdnimg.cn/blog_migrate/799aef84546004ba9c8ac13315e5d08f.jpeg)
其中 x 是具有D个维度的矩阵/向量
Identities:
if A is symmetrical: