本文深入探讨机器学习中的偏差与方差，解析误差、偏差和方差的实际意义，以及它们如何影响模型的拟合状态。通过案例分析过拟合和欠拟合，提出降低bias和variance的策略，包括调整学习率、使用随机梯度下降和特征缩放。同时，介绍了交叉验证的重要性和N-fold交叉验证的应用。
文章目录
Datawhale第7期-《李宏毅机器学习》作业（二）
学习任务：
理解偏差和方差
由上一节的测试数据可知，当模型复杂度达到一定值时，复杂度继续增加并不会使测试集效果更好，反而使模型误差随着模型复杂度呈指数型增加，而这些error的主要来源是bias和variance。
误差为什么是由偏差和方差组成，推导相关公式
e r r o r = b i a s 2 + v a r i a n c e error = bias^2+variance error=bias2+variance，其中bias是指偏差，variance是指方差。推到如下：
采用均方误差衡量 e r r o r = E [ ( f ( x ) − y ) 2 ] = E ( f ( x ) 2 ) − 2 E ( f ( x ) ⋅ y ) + E ( y 2 ) = E 2 ( f ( x ) ) − 2 E ( f ( x ) ⋅ y ) + E ( y 2 ) + E ( f ( x ) 2 ) − 2 E 2 ( f ( x ) ) + E 2 ( f ( x ) ) = E 2 [ f ( x ) − y ] + E [ f ( x ) − E ( f ( x ) ) ] 2 = b i a s 2 + v a r i a n c e error=E[(f(x)-y)^2]=E(f(x)^2)-2E(f(x)\cdot y)+E(y^2)=E^2(f(x))-2E(f(x)\cdot y)+E(y^2)+E(f(x)^2)-2E^2(f(x))+E^2(f(x))=E^2[f(x)-y]+E[f(x)-E(f(x))]^2=bias^2+variance error=E[(f(x)−y)2]=E(f(x)2)−2E(f(x)⋅y)+E(y2)=E2(f(x))−2E(f(x)⋅y)+E(y2)+E(f(x)2)−2E2(f(x))+E2(f(x))=E2[f(x)−y]+E[f(x)−E(f(x))]2=bias2+variance，其中bias为 E [ f ( x ) − y ] E[f(x)-y] E[f(x)−y]，而variance为 E [ f ( x ) − E
最低0.47元/天 解锁文章
176
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
