Deep Learning (Ian Goodfellow, Yoshua Bengio and Aaron Courville) 阅读笔记

Ian Goodfellow, Yoshua Bengio and Aaron Courville 合著的《Deep Learning》 终于写完了，并且放在网上可以在线免费阅读。网址：http://www.deeplearningbook.org
一些笔记整理于此。

Chapter 11 实践指导

1 什么问题适合用deep learning
如果一个问题是AI-complete的，就可以用。
2 明确目标任务
error metric，和 target value for this error metric。
3 尽快建一个baseline
网络结构：
if 当前任务和已经研究过的任务很像：
  那么直接借用之前的模型很有可能取得较好的效果。
else:
  自己设计模型，选择合适的超参。
  层数，隐层节点数：“Usually the best performance comes from a large model that is regularized well, for example by using dropout。”可以先设置一个较大的模型。
  regularization：除非有数千万的数据，开始的模型一定要加一些regularization（例如dropout）。
  其他trick：对卷积神经网络的训练，和使用sigmoid类非线性激活函数的网络，Batch Normalization 非常有效࿰