深度学习入门—理论杂谈(3)

前言
此部分内容为第三章续
一、过度拟合和正则化
1、验证集的作用可以理解为培训数据，帮我们学习到更好的超参数(超参数是在开始学习过程之前设置值的参数，而不是通过训练得到的参数数据。通常情况下，需要对超参数进行优化，给学习机选择一组最优超参数，以提高学习的性能和效果。)，其最终目的是为了防止过拟合。
2、通过增加训练数据，某种程度上可以有效的减少过拟合的发生，但是训练数据可能很昂贵或难以获得，因此有时这并不是一个实用的选择。
3、减小网络的规模也可以减少过拟合情况的发生，但是一般来说，大型网络要比小型网络的功能更强大，因此我们往往不愿意采用此种方法。
4、正则化是一种不改变网络规模和训练数据的前提下，一种防止过拟合的手段。
通过在原来的成本函数基础上，增加一项各权重的平方和，使代价函数变为：
要崩溃了，由于网页崩溃了，之后写的内容全部没有了，只保存到了这里！ 万恶的Google浏览器。这篇博客就这样吧，内容太多，不可能再重新写一次了，不过都是对这本书内容的总结，详细的情况还是可以参考这本书的。
另外，关于第三章的总结，推荐一篇其他博主写的不错的一篇博文

   最后，吸取教训，养成一个自动保存的好习惯！不想吐槽CSDN的自动保存功能！辣鸡！