台大李宏毅Machine Learning 2017Fall学习笔记 (14)Unsupervised Learning:Linear Dimension Reduction

台大李宏毅Machine Learning 2017Fall学习笔记 (14)Unsupervised Learning:Linear Dimension Reduction

本博客整理自：
http://blog.csdn.net/xzy_thu/article/details/70158829
Unsupervised Learning有两种:
1)化繁为简(Clustering & Dimension: 复杂的input→简单的output, training时只有一堆input, 不知output);
2)无中生有(Generation: input random number, 经过function，得到image)。

Clustering(聚类)

K-means

算法步骤如下图所示：

Hierarchical Agglomerative Clustering(HAC)

聚类要把目标聚到某一类里边，而实际中可能目标70%属于一类，30%属于另一类，分布式的表示也可称为降维。

Dimension Reduction(降维)

Feature selection

如果data point的某一维都不变，就没有存在意义，可以去掉。此方法适用场合有限。

Principle Component Analysis(PCA)

希望新的特征的variance尽量大，所以$k$个$w$选择的是$Cov(x)$的前$k$个最大的特征值对应的特征向量。
具体数学推导过程如下所示：




新特征的各维度之间无相关性，作为input data，可用较简单的model处理，避免overfitting。
用SVD方法得到PCA的解:




从NN角度理解PCA：自动编码器

train这个NN的参数，让output与input越接近越好。
不能用gradient descent求解，因为不能保证$w^i$,$w^j$正交。
此解法效果也不会比SVD方法更好。
PCA的缺点：
1、PCA是无监督的，不知道数据的标签，这样在降维映射之后可能会把两类数据混到一起。
考虑数据标签的方法LDA（Linear Discriminant Analysis）可以避免这一问题。
2、PCA是线性的。把一个三维空间中的S形分布的数据做PCA之后的效果，就是把S形拍扁，而非展开。

对宝可梦做PCA
每个宝可梦是六维向量，计算出6个特征值，计算6个特征值的ratio，舍去较小的（只取前四个特征值的特征向量作为新的特征，或者叫主成分PC）。特征值的意义是，PCA降维时，在相应维度的variance有多大。
每个PC都是一个六维向量，分析它们在哪个维度是大的正值/负值，可以分析出这个PC所代表的意义。

对人脸做PCA
对人脸，取前30个PC，每个PC拼成image，发现都是脸，而不是脸的一部分。
解释：

对数字和人脸做NMF
得到的都是“部分”:

Matrix Factorization

人买公仔，人和公仔背后都有共同的隐藏属性影响人买多少公仔，例如人的属性：萌傲娇/萌天然呆，公仔的属性：傲娇/天然呆。
我们要从购买记录（矩阵）中推断出latent factor，latent factor的数目需要事先定好。

对矩阵做SVD，SVD的中间矩阵可以并到左边矩阵或右边矩阵。
有missing data怎么办？用gradient descent做，先定义loss function L（只考虑有定义的数据）。



得到$r^A,r^B,r^C,r^D,r^E,r^1,r^2,r^3,r^4$之后，并不知道每个维度代表什么属性，需要事后分析。
已知姐寺与小唯属于天然呆类型、春日与炮姐属于傲娇类型，所以第一个维度代表天然呆，第二个维度代表傲娇。