主成分分析 (Principal Components Analysis, PCA)

通过降维 (Dimensionality Reduction)，实现数据压缩以减少计算、存储成本，或实现数据可视化以直观了解数据。

1. 数据预处理

特征缩放及标准化 (feature scaling / mean normalization)：
$x^{(i)}_j=\frac{x^{(i)}_j-\mu_j}{s_j}$

其中
$\mu_j=\frac{1}{m}\sum\limits_{i=1}^mx^{(i)}_j$，即$x_j$的平均值
$s_j=\text{max}(x_j)-\text{min}(x_j)$，即$x_j$中最大、最小值之差

---

2. 算法实现

要将数据从n维降至k维（$x^{(i)}\in \mathbb R^n\rightarrow z^{(i)}\in \mathbb R^k$）：

计算协方差矩阵 (covariance matrix)：
* 为避免$\Sigma,\sum$（Sigma与求和符号）混淆，此处的$\Sigma$用$Sigma$表示

$Sigma=\frac{1}{m}\sum\limits_{i=1}^n(x^{(i)})(x^{(i)})^T$

计算Sigma矩阵的特征向量 (eigenvectors)：
$[U,S,V] = \text{svd}(Sigma)$
可得
$U=\begin{bmatrix}|\ \ \ \ \ \ |\ \ \ \ \ \ \ \ \ \ \ \ |\\u^{(1)}\ u^{(2)}\ ...\ u^{(n)}\\|\ \ \ \ \ \ |\ \ \ \ \ \ \ \ \ \ \ \ |\end{bmatrix}\in\mathbb R^{n\times n}$

从中选出前k列：
$U_{\text{reduce}}=\begin{bmatrix}|\ \ \ \ \ \ |\ \ \ \ \ \ \ \ \ \ \ \ |\\u^{(1)}\ u^{(2)}\ ...\ u^{(k)}\\|\ \ \ \ \ \ |\ \ \ \ \ \ \ \ \ \ \ \ |\end{bmatrix}\in\mathbb R^{n\times k}$

最后：
$z^{(i)}=(U_{\text{reduce}})^Tx^{(i)}$

---

3. k值选择

$[U,S,V] = \text{svd}(Sigma)$中，S为对角矩阵：
$S=\text{diag}(S_{11},S_{22},...,S_{nn})$

计算满足$\frac{\sum_{i=1}^kS_{ii}}{\sum_{i=1}^mS_{ii}}\geq0.99$的最小的k值，即为k的取值。

其中0.99可理解为保留99%的数据差异性，可根据实际情况调整。