15. 偏差-方差权衡(续)

本文以K近邻回归为例,探讨偏差-方差权衡问题。K值增加,预测函数方差减小,偏差增大,模型趋于平滑;反之,方差增大,偏差减小,但易过拟合。K值选择影响模型复杂度,过高可能导致过拟合,过低则可能欠拟合。正则化是避免过拟合的一种技术,通过约束模型参数来平衡偏差与方差。高维空间中,K近邻模型的偏差会因样本稀疏而增大。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

K近邻回归模型为例,说明偏差-方差权衡。某数据点的预测函数值为该点K个最近邻实例输出的平均值:

因此预测函数的方差等于:

因为各实例的输出Yi是独立的随机变量,且它们的方差都等于σ^2,所以


评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值