8.1 Noise and Probabilistic Target
当存在噪声数据时,由于所得到的结果未必是真实的结果,因此模型不再是确定性函数
h(x)
,而是概率分布
p(y|x)
,损失函数也变成了
y p(y│x)
下
y≠f(x)
。可以认为
p(y|x)
给预测结果带来的不确定性是由噪声数据造成的。同时,过去的确定性函数
h(x)
可以看做目标分布的特殊情况,即某一分类概率为1的情况。
例如在线性不可分(可以看做在线性可分的集合中设置噪声)的训练集中,利用pocket感知机即寻找一个最好的模型使得损失函数
y≠f(x)
最小。
同时需要注意的是,在存在噪声的情况下VC维理论依然有效。
8.2 Error Measure
我们需要一个方法来判断我们得到的
g(x)
与真实分布
f(x)
的差距,因此把对逐个样本进行度量的方法叫
err(g(x),f(x))
。对于训练集,把每个样本的err结果平均即为
Ein(g)
,对于未知样本,即从理想分布
P
中采样,样本的err即为泛化能力。
介绍两种重要的error measure:
(1)0/1 error
即
err(g(x),f(x))=1[g(x)≠f(x)]
。其对应的模型为在给定条件分布
P(y|x)
下,预测结果为
f(x)=argmaxy∈YP(y|x)
。
(2)squared error
即
err(g(x),f(x))=(g(x)−f(x))2
。其对应的模型为在给定条件分布
P(y|x)
下,预测结果为
f(x)=∑y∈YyP(y|x)
。
不同的损失函数会造成截然不同的预测结果。另外VC维理论在大多数error measure下都是有效的。
8.3 Algorithmic Error Measure
在预测中有4种结果,TP,TN,FP,FN。显然TP和TN是没有损失的,而FP与FN的重要性在不同环境下会有不同,这将体现在err中。演算法的核心就在于设计
errˆ
,并使(err) 最小。我们用
errˆ
来代表训练时所用的损失度量,用err代表泛化时的损失度量。
根据不同的情况应采用不同的err,一般有两种角度:
(1)选择原理上可行的方法,例如0/1错误,或者平方差最小等。
(2)选择易于优化、求解的方法,例如一个近似解,或者凸函数。
8.4 Weighted Classification
本节讲解了在FP与FN的损失不均等的情况下应该如何改进算法。以pocket算法为例,如果FP的权重是FN的1000倍,则可以将问题转化为连续访问FP的节点1000次,反应在算法上则是放大该点访问后权重变化1000倍。另外,当每次判定是否使用新的w时,应该调整损失函数以适应损失不均等。