Ian Goodfellow, Yoshua Bengio and Aaron Courville 合著的《Deep Learning》 终于写完了,并且放在网上可以在线免费阅读。网址:http://www.deeplearningbook.org
一些笔记整理于此。
Chapter 11 实践指导
1 什么问题适合用deep learning
如果一个问题是AI-complete的,就可以用。
2 明确目标任务
error metric,和 target value for this error metric。
3 尽快建一个baseline
网络结构:
if 当前任务和已经研究过的任务很像:
那么直接借用之前的模型很有可能取得较好的效果。
else:
自己设计模型,选择合适的超参。
层数,隐层节点数:“Usually the best performance comes from a large model that is regularized well, for example by using dropout。”可以先设置一个较大的模型。
regularization:除非有数千万的数据,开始的模型一定要加一些regularization(例如dropout)。
其他trick:对卷积神经网络的训练,和使用sigmoid类非线性激活函数的网络,Batch Normalization 非常有效