ML-PCA

前言

2021寒假，机器学习随笔

PCA简介

主成分分析（Principal Component Analysis）是一种非监督方法，不使用输出信息；需要最大化的准则是方差。主成分是这样的$\omega$,样本投影到$\omega$上之后最分散，使得样本点之间的差别最明显，也就是方差最大。

原理过程

为了得到为一解且是的该方向成为最重要的因素，我们要求${\omega }_1$的范数等于1 。如果$z_1={\omega }_1^{T}x$且Cov($x$) =$\Sigma$，则$$Var\left(z_1\right)={{\omega }_1}^T\Sigma {\omega }_1$$其中$\Sigma$表示样本的协方差矩阵。我们要寻找一个${\omega }_1$，使得$Var\left(z_1\right)$在${\omega }_1^T{\omega }_1=1$的条件下最大化。把这个写成一个拉格朗日问题。$$\underset{{\omega }_1}{\max }{{\omega }_1}^{}$$