hands on machine learning 2th_课后答案_持续更新

Hands on machine learning 2th_课后答案_持续更新

17章Exercises

1. What are the main tasks that autoencoders are used for?
   主要任务为特征提取、无监督预训练、降维、异常检测（异常检测效果差）。
2. Suppose you want to train a classifier, and you have plenty of unlabeled training data but only a few thousand labeled instances. How can autoencoders help? How would you proceed?
   首先，使用labeled和unlabeled数据一起训练一个深度编码器，然后再使用labelde数据+reuse 低层encoding layer。
3. If an autoencoder perfectly reconstructs the inputs, is it necessarily a good autoencoder? How can you evaluate the performance of an autoencoder?
   不是，最好是评估 reconstruction loss，如mse等，一个非常大的重构loss很容易说明编码器是不好的，但是一个小的重构loss并不能保证编码器是好的，所以还需要考虑编码器的用途，比如编码器是用来做分类任务的无监督预训练的，那么还需要评估分类器的效果.
4. What are undercomplete and overcomplete autoencoders? What is the main risk of an excessively undercomplete autoencoder? What about the main risk of an overcomplete autoencoder?
   不完全编码器是指encodeing layer小于input and output layers，如果encoding layer很大，则是超完全编码器，不完全编码器可能会重构inputs失败，而超完全编码器的风险可能是仅仅把输入复制成为了输出并没有学到有用的模式。
5. How do you tie weights in a stacked autoencoder? What is the point of doing so?
   需要将decoder的weights设置为encoder的weights的转置，这样做可以把参数的数量减少一半，而且可以收敛更快，并且降低了过拟合的风险。
6. What is a generative model? Can you name a type of generative autoencoder?
   生成模型是一种能够随机生成类似于训练实例的模型，比如变分自编码器。
7. What is a GAN? Can you name a few tasks where GANs can shine?
   GAN包含生成器和判别器，生成器用来生成类似训练集的实例来迷惑判别器，判别器用来区分真实的实例和生成的实例，GANs主要用于高级图像处理任务，比如超分辨率、着色、图像编辑、将简单的草图转换为逼真的图像或预测视频中的下一帧；gan还用来扩充数据集以训练其它模型，生成诸如文本、音频或时间序列等其它类型的数据，还可以用来识别其它模型中的弱点并加强他们。
8. What are the main difficulties when training GANs?
   众所周知，训练gan是非常困难的，因为在生成器和判别器之间有复杂的动态关系，最大的困难是模式崩溃，即生成器产生的输出具有很少的多样性。此外，训练可能非常不稳定，它可能刚开始很好，然后突然开始震荡或发散，没有任何明显的原因，gans对超参数的选择也非常敏感。