Deep Learning (Ian Goodfellow, Yoshua Bengio and Aaron Courville) 阅读笔记

最新推荐文章于 2024-07-04 23:14:37 发布

Wiking__acm

最新推荐文章于 2024-07-04 23:14:37 发布

阅读量1w

点赞数 3

分类专栏：数据挖掘文章标签：深度学习

本文链接：https://blog.csdn.net/wiking__acm/article/details/51225348

版权

本文是Ian Goodfellow等合著的《Deep Learning》阅读笔记，主要聚焦于Chapter 11的实践指导。内容涵盖适合深度学习的问题、明确目标、建立基线模型、超参数选择、数据获取策略、正则化方法如Batch Normalization和Label Smoothing，以及多任务学习和批处理大小的影响。

摘要由CSDN通过智能技术生成

Ian Goodfellow, Yoshua Bengio and Aaron Courville 合著的《Deep Learning》终于写完了，并且放在网上可以在线免费阅读。网址：http://www.deeplearningbook.org
一些笔记整理于此。

Chapter 11 实践指导

1 什么问题适合用deep learning
如果一个问题是AI-complete的，就可以用。
2 明确目标任务
error metric，和 target value for this error metric。
3 尽快建一个baseline
网络结构：
if 当前任务和已经研究过的任务很像：
那么直接借用之前的模型很有可能取得较好的效果。
else:
自己设计模型，选择合适的超参。
层数，隐层节点数：“Usually the best performance comes from a large model that is regularized well, for example by using dropout。”可以先设置一个较大的模型。
regularization：除非有数千万的数据，开始的模型一定要加一些regularization（例如dropout）。
其他trick：对卷积神经网络的训练，和使用sigmoid类非线性激活函数的网络，Batch Normalization 非常有效࿰