李宏毅机器学习28——more about auto-encoder

 摘要：

上节课讲了auto-encoder，这节课更详细的学习auto-encoder。

主要从两个角度来学习。

一是衡量encoder好坏的其他方法。与minimize reconstruction error不同，这里引入了判别式模型，来衡量embedding和输入的密切程度。通过训练encoder中的参数和判别式模型中的参数，来找到最合适的encoder。

二是对embedding的解释。为了让embedding更好的解释，我们可以通过特征解缠的方法，将不同的信息分类，主要学习两种做法，一个是通过GAN，一个是通过改变encoder的结构，将不同信息分开。

为了使embedding更好的解释，我们还可以将embedding转换成离散的向量，如果是音频信息，这就可以做到噪音过滤了。

还可以训练一个seq2seq2seq的Auto-encoder，将sequence当做embedding，在此基础上加上GAN，就可以生成符合语法的摘要了。

目录

 ​

一、衡量encoder好坏的其他方法

1.什么是好的embedding？

2.Discriminator

二、如何让embedding更容易被解释

1.feature disentangle 

2.解释embedding

实际应用：

1.VQVAE

2.sequence as embedding

总结：

---

Auto-encoder主要包含一个编码器（Encoder）和一个解码器（Decoder）。Encoder接收一张图像，输出一个vector，上节课中称他为code，也可以叫它Embedding、Latent Representation或Latent code，这个vector是关于输入图像的表示；然后将vector输入到Decoder中就可以得到重建后的图像，我们希望输出图像和输入图像越接近越好，这个方法叫做reconstruction error。
这节课更深入的学习auto-encoder，主要围绕两方面
一、为什么一定要minimize reconstruction error，有没有其他方法？
二、如何理解embedding？

 

一、衡量encoder好坏的其他方法

1.什么是好的embedding？

一个好的embedding应该可以很好地代表输入的事物。首先embedding应该和object有密切的关系。
用李宏毅老师的例子，左边的人物始终带着耳机，因此耳机这个vector应该和左边的人物是相联系的。

2.Discriminator

首先我们有一个encoder，
三九（上面的人物）通过encoder，得到的输出为蓝色的embedding
凉宫春日（下边的人物）通过encoder，得到输出为黄色的embedding
我们如何评估一个encoder的好坏呢？
我们可以