文章详细介绍了PCA（主成分分析）的核心数学概念，包括拉格朗日数乘法、特征值和特征向量，以及如何通过这些概念进行数据降维。PCA通过找到数据的最佳低维投影来实现高维到低维的转换，并讨论了投影公式和数据的重构过程。文章强调了投影向量的重要性，它们是连接高维和低维空间的关键，并且提出了从低维空间恢复高维数据的近似方法。
前情回顾：
Principal component analysis（PCA）--主成分分析1.0
（本节主要内容请参考“总结”或目录）
在进入PCA算法的推导之前，我们需要先熟知几个核心数学概念
Mathematical Background
拉格朗日数乘法
对于某个具有约束条件的函数，我们常用拉格朗日数乘法求解该函数的极值
Suppose we want to optimise f(x) subject to some constraint, 'g(x)=0'
Then we define a new objective:
and optimise with respect to both x and λ
特征值与特征向量
对于某个方阵 A ，如果存在
则称向量 u 为方阵 A 的特征向量（eigenvector），λ 为方阵 A 的特征值（eigenvalue）
矩阵求导
其中 x 是具有D个维度的矩阵/向量
Identities：
if A is symmetrical：
最低0.47元/天 解锁文章
542
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
