理论推导
在线性模型中，假设预测结果与实际结果有误差为
ε
(
i
)
\varepsilon^{(i)}
ε(i)
则线性模型中，误差可以表示为
ε
(
i
)
=
y
(
i
)
−
θ
T
x
(
i
)
\varepsilon^{(i)} = y^{(i)} - \theta^Tx^{(i)}
ε(i)=y(i)−θTx(i)
根据中心极限定律，假设误差
ε
(
i
)
\varepsilon^{(i)}
ε(i)服从标准正态分布，则可以得到
p
(
y
(
i
)
∣
x
(
i
)
;
θ
)
=
1
2
π
σ
e
(
−
y
(
i
)
−
θ
T
x
(
i
)
2
σ
2
)
p(y^{(i)}|x^{(i)};\theta) = \frac{1}{\sqrt{2\pi}\sigma} e^{(-\frac{y^{(i)} - \theta^Tx^{(i)}}{2\sigma^{2}})}
p(y(i)∣x(i);θ)=2πσ1e(−2σ2y(i)−θTx(i))
根据最大似然估计得到
L
(
u
,
σ
2
)
=
∏
i
=
1
n
1
2
π
σ
e
−
(
ε
i
−
u
)
2
2
σ
2
L(u,\sigma^2) = \prod_{i=1}^{n} \frac{1}{\sqrt{2\pi}\sigma} e^{-\frac{(\varepsilon_i-u)^2}{2 \sigma^2}}
L(u,σ2)=i=1∏n2πσ1e−2σ2(εi−u)2
取对数得到
l
n
(
L
(
u
,
σ
2
)
)
=
−
n
2
l
n
σ
2
−
n
2
l
n
2
π
−
∑
i
=
1
n
(
ε
i
−
u
)
2
2
σ
2
ln(L(u,\sigma^2)) = -\frac{n}{2}ln\sigma^2-\frac{n}{2}ln2\pi-\frac{\sum_{i=1}^{n}(\varepsilon_i-u)^2}{2 \sigma^2}
ln(L(u,σ2))=−2nlnσ2−2nln2π−2σ2∑i=1n(εi−u)2
为了使似然函数最大,式中的
σ
\sigma
σ在上面的假设中为一个定值，所以要使得似然函数取最大，则
1
2
∑
i
=
1
n
(
ε
i
−
u
)
2
{\frac{1}{2}\sum_{i=1}^{n}(\varepsilon_i-u)^2}
21∑i=1n(εi−u)2需要最小，得到平方损失函数为:
J
(
θ
)
=
1
2
∑
i
=
1
n
(
y
(
i
)
−
θ
T
x
(
i
)
)
2
J(\theta) = \frac{1}{2} \sum_{i=1}^{n}(y^{(i)} - \theta^Tx^{(i)})^2
J(θ)=21i=1∑n(y(i)−θTx(i))2
1307
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
