关于对过拟合的理解
好像有个关于网络参数过多会造成过拟合的说法,突然有了一点自己的理解,记下来:
假如只能使用n个一次函数对一幅图像上的点区域进行描述,
已知点的分布图
理想的区间划分
三条直线的划分,可以理解为三个参数
五条直线的划分
。。。。。
n条直线的划分 理解为无穷多参数时
可以看到,当参数太少时,描述能力太弱,预测太多,不能准确的刻画预测区域。
当参数太多时,描述能力超级强,完全描述了已知目标的区域,但是预测不足,导致对训练集中的数据推理十分准确,但是对于之外的数据推理能力不足。这就是我理解的过拟合
有什么办法能改善呢,
想了一个办法
对于每个样本点,都以自己为中心向外,以概率递减的方式扩展,然后将所有的点的概率进行加权取和,得到一个目标概率图。这样参数越多,预测的区域就会越准,不会出现过拟合