f(ϵ(i))=12π‾‾‾√θexp(−(x−μ)22θ2)
f
(
ϵ
(
i
)
)
=
1
2
π
θ
exp
(
−
(
x
−
μ
)
2
2
θ
2
)
联系
Y(i)=θTX(i)+ϵ(i)
Y
(
i
)
=
θ
T
X
(
i
)
+
ϵ
(
i
)
,可得误差
ϵ(i)
ϵ
(
i
)
满足
f(ϵ(i))=12π‾‾‾√θexp(−(ϵ(i))22θ2)=12π‾‾‾√θexp(−(Y(i)−θTX(i))22θ2)
f
(
ϵ
(
i
)
)
=
1
2
π
θ
e
x
p
(
−
(
ϵ
(
i
)
)
2
2
θ
2
)
=
1
2
π
θ
exp
(
−
(
Y
(
i
)
−
θ
T
X
(
i
)
)
2
2
θ
2
)
由此可得
似然函数:
L(θ|X)=∏i=1mf(ϵ(i))=∏i=1m12π‾‾‾√θexp(−(Y(i)−θTX(i))22θ2)
L
(
θ
|
X
)
=
∏
i
=
1
m
f
(
ϵ
(
i
)
)
=
∏
i
=
1
m
1
2
π
θ
exp
(
−
(
Y
(
i
)
−
θ
T
X
(
i
)
)
2
2
θ
2
)
为方便计算,将似然函数转换为对数形式,则
对数似然函数为:
lnL(θ|X)=ln∏i=1m12π‾‾‾√θexp(−(Y(i)−θTX(i))22θ2)
ln
L
(
θ
|
X
)
=
ln
∏
i
=
1
m
1
2
π
θ
exp
(
−
(
Y
(
i
)
−
θ
T
X
(
i
)
)
2
2
θ
2
)
化简得:
原式=∏i=1mln12π‾‾‾√θexp(−(Y(i)−θTX(i))22θ2)
原
式
=
∏
i
=
1
m
ln
1
2
π
θ
exp
(
−
(
Y
(
i
)
−
θ
T
X
(
i
)
)
2
2
θ
2
)
=(12π‾‾‾√θ)m+∏i=1mlne(Y(i)−θTX(i))2(−12θ2)
=
(
1
2
π
θ
)
m
+
∏
i
=
1
m
ln
e
(
Y
(
i
)
−
θ
T
X
(
i
)
)
2
(
−
1
2
θ
2
)
=mln(12π‾‾‾√θ)−(12θ2)m∑i=1m(Y(i)−θTX(i))2
=
m
ln
(
1
2
π
θ
)
−
(
1
2
θ
2
)
m
∑
i
=
1
m
(
Y
(
i
)
−
θ
T
X
(
i
)
)
2
,由正态分布的特点可知,
f(ϵ(i))
f
(
ϵ
(
i
)
)
越大时,误差
ϵ(i)越小
ϵ
(
i
)
越
小
,由此,设:
J(θ)=∑i=1m(Yi−θTX(i))2(∗∗最小二乘法∗∗)
J
(
θ
)
=
∑
i
=
1
m
(
Y
i
−
θ
T
X
(
i
)
)
2
(
∗
∗
最
小
二
乘
法
∗
∗
)