在PRML的第一章1.5.5节,计算关于损失函数过程中,根据原文得到如下内容:
其中有一下推导过程:
文中只用一句话描述了为什么交叉项会消失,”Substituting into the loss function and performing the integral over t, we see that the cross-term vanishes and we obtain an expression for the loss function in the form”.
那么具体是怎么的过程呢?我们单独把交叉项拿出来:
2{y(x)−E[t|x]}{E[t|x]−t}
2
{
y
(
x
)
−
E
[
t
|
x
]
}
{
E
[
t
|
x
]
−
t
}
带入loss function 中,并对t进行积分,这里我们先对t积分,不考虑对x的积分。得到如下公式:
∫2{y(x)−E[t|x]}{E[t|x]−t}×p(x,t)dt
∫
2
{
y
(
x
)
−
E
[
t
|
x
]
}
{
E
[
t
|
x
]
−
t
}
×
p
(
x
,
t
)
d
t
可以知道,积分的左边因子是关于x的函数,对t的积分来说只是一个常数,可以放在积分的外面,只考虑积分内的内容:
∫2{E[t|x]−t}×p(x,t)dt
∫
2
{
E
[
t
|
x
]
−
t
}
×
p
(
x
,
t
)
d
t
由于 p(x,t)=p(t|x)p(x) p ( x , t ) = p ( t | x ) p ( x ) 可以得到如下公式
∫2{E[t|x]−t}×p(t|x)p(x)dt
∫
2
{
E
[
t
|
x
]
−
t
}
×
p
(
t
|
x
)
p
(
x
)
d
t
同样的将p(x)提到积分号外面,并不考虑,可以得到
∫E[t|x]×p(t|x)dt−∫t×p(t|x)dt
∫
E
[
t
|
x
]
×
p
(
t
|
x
)
d
t
−
∫
t
×
p
(
t
|
x
)
d
t
一样的trick , E[t|x] E [ t | x ] 是关于x的函数,放在积分号的外面, ∫p(t|x)dt=1 ∫ p ( t | x ) d t = 1 ,所以第一项为 E[t|x] E [ t | x ] 。另外根据定义,文中的公式1.89同样给出。可以第二项为得到:
∫t×p(t|x)dt=E[t|x]
∫
t
×
p
(
t
|
x
)
d
t
=
E
[
t
|
x
]
结合交叉所有的内容:
{E[t|x]−E[t|x]}×p(x)×2{y(x)−E[t|x]}
{
E
[
t
|
x
]
−
E
[
t
|
x
]
}
×
p
(
x
)
×
2
{
y
(
x
)
−
E
[
t
|
x
]
}
所以交叉项为0,不会在x的积分内容中出现。
个人推理,如有问题,欢迎指出!
以上!