数据挖掘与机器学习

在这个图中，p代表变量，代表整个模型的复杂度，水平曲线代表线性回归的MSE，曲线代表另外一种模型的ESE比如KNN，但可以看出在P=1的情况下。1/K的变化对平均方差MSE的影响并不大，但随着P的增大，1/K的变化对MSE的影响逐渐增大。同时线性回归的效果要优于KNN的。
当对比P值的时候会发现，P值较小的时候，MSE的变化范围并不明显，但当P值较大的时候，P值对MSE的影响就开始变大了。KNN的运行效果要比线性回归的效果更差。
同时也可以假设，如果P=1/p，其中p为显性程度，1/K代表样本量，则可以知道，均方误差会随着样本量的增加而增加，在显性程度较高时，即P教大时，p较小，我们会误差精确在非常小的范围，均方误差就会增大。当整体的量较小的时候，误差会小。最终，KNN的运行效果要差于线性回归。
当整体的变量较少的时候，KNN模型的效果要优于显性回归，但随着变量的增加，KNN的劣势就出来了，可能会造成模型的过拟合问题。在P=4的时候，两个模型的运行效果是相差不大的。