李宏毅《机器学习》笔记：11.为什么要用深度模型

<--------感谢评论、答疑、指正！--------->

2021.10.5
LeeML-Notes：P22

洋洋洒洒老师讲了一大章，主要内容很简单，讲了俩事

1. 同样数量的参数，哪种模型好？

前提就是调整shallow和Deep让他们的参数是一样多，shallow model较好还是deep model较好？

【相同参数量的时候】

• 我们用5层hidden layer，每层2000个neural，得到的error rate是17.2%
• 相对应的一层的模型，得到的错误率是22.5%，

【结论】

• 是单纯的增加parameters，是让network变宽不是变高的话，其实对performance的帮助是比较小的。
• 也就是，层数深的模型（瘦的）比层胖的效果好。

2. 原因

2.1 问题1：为什么变高比变宽好呢？

• 我们在做deep learning的时候，其实我们是在模块化这件事。

• 如果直接分类，分为四类，这样因为第二类数量少训练效果很差

  

• 如果模块化，先分男女，长短 再训练，即使那组数量少 也会有较好的效果

  

2.2 问题2：深度学习和模组化有什么关系？

老师可能举例四五个例子 说明了一件事：实验证明，确实深度和模块化有关。 下面是几个简单例子：

【例1】

• 一层的话