Unsupervised Learning: Deep Auto-encoder

Auto-encoder

它的思想是，找一个encoder，比如input一张image，经过encoder，output一个code，它的维度要远比input小，那这个code就代表了这个input某种精简的有效的representation。

但是现在问题是非监督的，我们可以找到一堆input但是不知道output是什么，那我们可以先learn一个decoder，它可以input一个vector然后output一个image。你也没办法train decoder，因为你也只有output。

二者单独都不能train，但是可以把二者联系起来一起train。

从PCA中，input一个image x，乘上weight得到component，component再乘以weight的transports，得到x^,minimize x和x^

这里面只有一层的hidden layer，hidden layer的output就是code

我们可以用gradient decent来解PCA，但是它只有一个hidden layer，也可以将它改成很多的hidden layer。

中间会有一个特别窄的layer，它有特别少的neuron，这个layer的output就代表了一组code。input到bottle是encode，bottle到output是decode。左右两边的weight没必要互为transport，可以直接train

结果图如下;

Auto-encoder ——Text Retrieval

可以将一篇文章压成一个code，假设我们想做文字搜寻，将每个文章表示成一个点，输入一个查询的词汇，也变成空间的一个点，然后与文章的点坐cos similarity，距离最近的话就会检索这个document。那现在的问题就是这个文章的vector你表示的好不好。

表示成vector最简单的方法就是LSA，用那种可以表示所有文字的vector，包含就是1不包含就是0.你也可以给每个element乘上一个weight，代表那个词汇的重要性。但是这个方法没办法知道语义上面的事情，比如apple和orange都是水果等。它认为所有的word都是独立的。

可以用auto-encoder：将一篇文章经过encoder把它压成二维的，每个document会被标成某一类，结果图如下，同一类document在一起。

Auto-encoder——Similar Image Search

以图找图，计算image的query和其他image的pixel的相似程度，这样的结果不太好，

那可以用auto-encoder将image变成code，然后在code的基础上进行搜寻。又因为是非监督的，可以collect很多data。

reconstruct的过程就是与上述过程相反，结果如下：

Auto-encoder——Pre-training DNN

在train一个NN时，很难找初始化参数，假设想要得到下面这个DNN的初始化参数，用auto-encoder的方法就叫做Pre-training。

需要注意的是，在这auto-encoder中，code比input大，这有可能会让code硬背起来input然后再输出，那就什么都没有learn到。所以在这种情况下要加一个很强的regulation在这个1000维上，就是希望这1000维里某几维是有值的，其他的没有值。

然后求第二层的weight，

然后反向微调，称作：Find-tune by backpropagation。现在train的技术进步之后几乎不用pre-training了。但是如果你只有少量的label data，你可以用大量的unlabel data初始化w1,w2,w3，最后的label data稍微调整一下就好。

De-nosing auto-encoder

learn出来的NN会更加鲁棒。

Auto-encoder for CNN

根据CNN的过程我们可以知道encoder和decoder的过程如下：

那unpooling的过程是怎么样的呢？

首先就是在polling的适合，除了选出最大的那个点，还要记录一下，最大的那个点是在什么部位选出来的：

接下来做unpooling时，要将比较小的matrix变成大的，将值放到对应的位置上，其他位置补0就好：

在keras中，你不用记录之前的位置，就是repeat那个记录下来的最大值

接下来是比较难理解的Deconvolution，事实上deconvolution也就是convolution：

这是convolution。

原本想的deconvolution可能是如下的：

其实它是可以用convolution来表示的，将三个值当做输入，再分别补上几个0：

其实第一个过程和第三个过程是完全一样的，而且第三个过程的结果跟第二个过程的结果是完全一样的。需要注意的是，weight是完全相反的（由红蓝绿变成绿蓝红），这个操作也是一个从convolution的过程的。