李宏毅机器学习-P5误差来自哪里

• 偏差和方差估计
• 欠拟合、过拟合与偏差、方差的关系
• 如何解决过拟合问题
• 模型选择

前提：第$i$个空间下对应一组数据 { ( x 1 , y ) , ( x 2 , y ) , . . . , ( x n , y ) } \{(x_1,y), (x_2,y),...,(x_n,y)\} {(x1​,y),(x2​,y),...,(xn​,y)}, 我们设计一组函数集 { f i ∣ f i = w i x + b i , i = 1 , . . . , n } \{f_i| f_i= w_ix+b_i, i=1,...,n\} {fi​∣fi​=wi​x+bi​,i=1,...,n}，对应的每个样本$x$, 每个回归模型有对应的估计值${\hat{y}}_i$。因此每个模型都有自己的均值$m_i$和方差$s_i$。
偏差和方差估计
偏差估计

方差估计

欠拟合、过拟合与偏差、方差的关系



偏差大：模型无法准确的拟合训练数据—>欠拟合
方法大：模型可以准确的拟合训练数据，但与测试数据的差别较大–>过拟合。
如何解决过拟合问题

模型选择
选择一个bias小，variance小的模型。
N折交叉验证

图片来源：李宏毅机器学P5