吴恩达深度学习细节补充（二）——欠拟合过拟合与误差分析

笔者是一个痴迷于挖掘数据中的价值的学习人，希望在平日的工作学习中，挖掘数据的价值，找寻数据的秘密，笔者认为，数据的价值不仅仅只体现在企业中，个人也可以体会到数据的魅力，用技术力量探索行为密码，让大数据助跑每一个人，欢迎直筒们关注我的公众号，大家一起讨论数据中的那些有趣的事情。

我的公众号为：livandata

在调整一个模型的过拟合的问题时可以有较多的方法，吴恩达在视频中给出了L2正则化、dropout正则化、数据扩增、early stoping（损失值与迭代次数的函数）等方法，具体的解释可以了解一下吴恩达深度学习的笔记136页：

https://download.csdn.net/download/livan1234/10565750

但是对常规的机器学习方法没有没有做较多的描述，此处做一些补充。

在数据的建模过程中会出现过拟合和欠拟合的问题，欠拟合的问题可以通过数据扩增来实现，过拟合问题除了L2、dropout、early stop还可以通过图形化的方式来解决，主要是采用一些机器学习方面的知识点完成。

过拟合和欠拟合在模型方面主要体现在方差和偏差上，过拟合的模型方差一般比较大，欠拟合的模型一般偏差比较大，所以可以直接将过拟合的问题转化成解决方差和偏差的问题。

1. 方差/偏差分析图：

常见的损失函数公式为：

这两个函数对应的图形为：

这个函数是损失值与函数维度的函数，模型数据的维度会影响模型的效果：

 

2、正则化方程L2的参数调整：

正则化函数本身是为了调整过拟合的问题，中间会产生一个调整参数，上面的模型是为了确定正则化调整参数，测试集与训练集会产生一个与参数相关的函数，如上图，测试集的最低点对应的参数值即为最稳定的参数点。

3、学习曲线：

学习曲线主要是训练集和测试集关于误差与训练集实例数量m的函数，当数据量较少时训练集的误差较少，测试集的误差较大，随着数据量的增加，训练集的误差与测试集的误差逐渐接近，当训练集的误差与测试集的误差稳定时，对应的数据规模就是最好的规模值。

总结对应的方法为：

上面为通过图形方式解释的模型过拟合的问题，具体的细节可以在斯坦福大学的教程中探索，资料地址为：https://download.csdn.net/download/livan1234/10565723

本文只是将两本书的内容做一次汇总，有纰漏的地方请指正。