噪音
- 输入特征不准确
- 输出错误
目标分布
在有噪音的情况下
y
y
y的输出带有了概率性,即
y
y
y服从如下分布:
X
∼
P
(
X
)
X ∼P(X)
X∼P(X)
y
∼
P
(
y
∣
X
)
y ∼P(y|X)
y∼P(y∣X)
P
(
y
∣
x
)
=
f
(
x
)
+
n
o
i
s
e
P(y|x)=f(x)+noise
P(y∣x)=f(x)+noise,X
条
件
下
条件下
条件下Y$ 出现的概率分布。
P
(
y
∣
x
)
P(y|x)
P(y∣x)为目标分布,进而可以得到mini target function
f
(
x
)
f(x)
f(x)。
误差衡量
- 0/1错误 预测≠目标,通常用于分类
- 平方错误,衡量预测与目标之间的距离,通常用于回归
根据不同的应用,我们需要选择不同的错误衡量方式。在二元分类中,根据不同的应用场景,可对false reject and false accept造成损失的代价不同,赋予不同的权重,以便在选择近似函数时对错误衡量有所偏重。