机器学习之十五（读书笔记）

• auto-encoder
• Feature Disentangle（特征分离）

二十四、Unsupervised Learning：Deep Auto-encoder
  
（一）Auto-encoder介绍

1、Auto-encoder
  比如做数字辨识，首先找一个encoder，可以input一张digit，接下来可能就是一个neural network，它的output就是一个code（大小比input小，会有压缩的效果），这个code代表原来input这张image的某种精简有效的representation。
  问题是现在做的unsupervised learning，不知道output长什么样子。所以我们要做一件事情–learn一个decoder，input一个vector，output就是一张image。接下来也没办法train这个decoder（只知道output，不知道input）。这两个network可以把它们接起来一起学：

  PCA:input一张image $x$（省略掉“-$\bar{x}$”），把$x$乘上一个weight $W$，得到$c$，这个component weight $c$再乘上一个matrix $W^T$得到$\hat{x}$，我们要做的事情就是minimize input跟construct的结果，让$x$跟$\hat{x}$越接近越好。这是PCA做的事。如果把它当作neural network来看的话，那input $x$就是input layer，output x ^ \hat{x}