12-Dimensionality Reduction

数据的降维处理

1 - Motivation I Data Compression II Visualization 数据压缩|可视化

2 - Principal Component Analysis Problem Formulation

• 降维：
  

  • 2维到1维：找到一个向量 $u^{(1)}\in R^2$ ，让平面上的2维数据投影到这个向量上，并且投影误差最小
  • n维到k维：找到k个向量 $u^{(1)},u^{(2)},\dots,u^{(k)}$ ,使得投影误差最小

• PCA 不是 linear regression：PCA 的中的是投影
  
  左边是 linear regression ，右边是 PCA

3 - Principal Component Analysis Algorithm 具体算法

数据预处理：feature scaling / mean normalization

从 n 维 $x^{(i)}$ 映射到 k 维 $z^{(i)}$ 的方法：

• 计算 X 的协方差矩阵(covariance matrix)：
  $$\sum = \frac{1}{m}\sum\limits_{i=1}^n(x^{(i)})(x^{(i)})^T \quad ,x^{(i)} \in R^{n \times 1},\sum \in R^{n \times n}$$
• 计算协方差矩阵 $\sum$ 的特征向量(eigenvector)：
  $$\begin{aligned} & [U , S , V] = svd(\sum) \quad(svd:Singular \;value \;decomposition单值分解) \\ &U = \begin{bmatrix} |&|&\vdots&| \\ u^{(i)}&u^{(2)}&\vdots&u^{(m)} \\ |&|&\vdots&| \\ \end{bmatrix} \quad, U \in R^{n \times n} \end{aligned}$$
• 取出矩阵 U 的前 K 个向量 $u^{(1)},u^{(2)},\dots,u^{(k)}$ 组成 $U_{reduce}$
• $z^{i} = U_{reduce}^T x^{(i)} ,z^{(i)}\in R^{k \times 1}$
• 完成了从$x^{(i)} \to z^{(i)}$ 的降维转变

代码表示如下：

$$\begin{aligned} &Sigma = \frac{1}{m}\sum\limits_{i=1}^m(x^{(i)})(x^{(i)})^T \\ &[U,S,V] = svd(Sigma); \\ &Ureduce = U(:,1:k); \\ &z = Ureduce'*x \end{aligned}$$

4 - Choosing the Number of Principal Components 选择 K 的方法

principal components 的数量 K 的选择方法：

• Average squared projection error：$\frac{1}{m}\sum\limits_{i=1}^m\| x^{(i)}-x_{approx}^{(i)} \|^2$
• Total variation： $\frac{1}{m}\sum\limits_{i=1}^m\|x^{(i)}\|^2$
• 选择条件：
  $$\frac{ \frac{1}{m}\sum\limits_{i=1}^m\| x^{(i)}-x_{approx}^{(i)} \|^2 }{ \frac{1}{m}\sum\limits_{i=1}^m\|x^{(i)}\|^2 } \leq 0.01(or\;0.05,0.1,\dots)$$
• 上面的方法比较麻烦，利用之前的 svg 函数的结果能比较简便的计算：
  其中， $$S = \begin{bmatrix} S_{11} & & & \\ & S_{22} & & \\ & & \ddots & \\ & & & S_{nn} \end{bmatrix}$$ 那么判断条件可以变为：
  $$1- \frac{\sum\limits_{i=1}^kS_{ii}}{\sum\limits_{i=1}^nS_{ii}} \leq 0.01 \quad or \quad \dfrac{\sum\limits_{i=1}^kS_{ii}}{\sum\limits_{i=1}^nS_{ii}} \geq 0.99$$

综上所述，选择 k 的方法如下：

• 尝试 K =1，2，3 …
• 计算 $U_{reduce},z^{(1)},z^{(2)},\dots,z^{(m)},x_{approx}^{(1)},x_{approx}^{(1)},\dots,x_{approx}^{(m)}$
• 检查：$\dfrac{\sum\limits_{i=1}^kS_{ii}}{\sum\limits_{i=1}^nS_{ii}} \geq 0.99$是否满足条件

5 - Advice for Applying PCA

• Mapping $x^{(i)} \to z^{(i)}$ should be defined by running PCA only on the training set. This mapping can be applied as well to the examples $x_{cv}^{(i)}$ and $x_{test}^{(i)}$ in the cross validation and test sets
• PCA的应用：
  
  • Compression
    
    • Reduce memory/disk needed to store data
    • Speed up learning algorithm
  • Visualization
• 不要为了避免 overfitting 而去使用 PCA，最好用 regulization 来实现
• 在使用PCA之前，首先要尝试用原始的数据$x^{(i)}$，只有当它不能达到你想要的结果的时候，才可以去考虑使用$z^{(i)}$.
  Before implementing PCA, first try running whatever you want to do with the original/raw data $x^{(i)}$ . Only if that doesn’t do what you want, then implement PCA and consider using $z^{(i)}$ .