独立同分布的意义
机器学习的基础和前提：误差项的定义
数据需满足相互之间独立，故拿到数据后经常做一个打乱操作shuffle
同分布：数据来源尽可能一致
均值为0
高斯分布（正态分布）：数据大多分布在均值附近
似然函数的作用
现在的问题：求解
θ
{{\theta }}
θ
斯分布的概率密度函数的一般形式为：
f
(
x
)
=
1
μ
2
π
e
−
(
x
−
μ
)
2
2
δ
2
f(x)=\frac{1}{\mu \sqrt{2\pi }}{{e}^{-\frac{{{(x-\mu )}^{2}}}{2{{\delta }^{2}}}}}
f(x)=μ2π1e−2δ2(x−μ)2
其中：
μ是分布的均值，即钟形曲线的中心位置。
σ 是标准差，决定了分布的宽度或变化程度。
e 是自然对数的底数。
高斯分布的概率密度函数在μ处达到最大值，并且关于μ对称。标准正态分布（均值为0，标准差为1的高斯分布）的概率密度函数形式为
f
(
x
)
=
1
2
π
e
−
x
2
2
f(x)=\frac{1}{\sqrt{2\pi }}{{e}^{-\frac{{{x}^{2}}}{2}}}
f(x)=2π1e−2x2
误差项服从均值为0（标准差未提到）， 结合起来故本问题中误差所服从的高斯分布就变为了：
p
(
ε
(
i
)
)
=
1
2
π
δ
e
−
(
ε
(
i
)
)
2
2
δ
2
p({{\varepsilon }^{(i)}})=\frac{1}{\sqrt{2\pi }\delta }{{\operatorname{e}}^{-\frac{{{({{\varepsilon }^{(i)}})}^{2}}}{2{{\delta }^{2}}}}}
p(ε(i))=2πδ1e−2δ2(ε(i))2
回归本文问题：求解
θ
{{\theta }}
θ
图中式（1）可转化为：
y
(
i
)
=
θ
T
x
(
i
)
+
ε
(
i
)
{{y}^{(i)}}={{\theta }^{T}}{{x}^{(i)}}+{{\varepsilon }^{(i)}}
y(i)=θTx(i)+ε(i)
ε
(
i
)
=
y
(
i
)
−
θ
T
x
(
i
)
{{\varepsilon }^{(i)}}={{y}^{(i)}}-{{\theta }^{T}}{{x}^{(i)}}
ε(i)=y(i)−θTx(i)
现在将
ε
(
i
)
{{\varepsilon }^{(i)}}
ε(i)代入
p
(
ε
(
i
)
)
=
1
2
π
δ
e
−
(
ε
(
i
)
)
2
2
δ
2
p({{\varepsilon }^{(i)}})=\frac{1}{\sqrt{2\pi }\delta }{{\operatorname{e}}^{-\frac{{{({{\varepsilon }^{(i)}})}^{2}}}{2{{\delta }^{2}}}}}
p(ε(i))=2πδ1e−2δ2(ε(i))2中，得
p
=
1
2
π
δ
e
−
(
y
i
−
θ
T
x
i
)
2
2
δ
2
p=\frac{1}{\sqrt{2\pi }\delta }{{\operatorname{e}}^{-\frac{{{({{y}^{i}}-{{\theta }^{T}}{{x}^{i}})}^{2}}}{2{{\delta }^{2}}}}}
p=2πδ1e−2δ2(yi−θTxi)2
似然函数：找寻一组参数能跟数据组后恰好是真实值
乘法变加法：
log
a
b
=
log
a
+
log
b
\log ab=\log a+\log b
logab=loga+logb
参数求解
那现在的问题又转化为使得
1
δ
2
1
2
∑
i
=
1
m
(
y
i
−
θ
T
x
i
)
2
\frac{1}{{{\delta }^{2}}}\frac{1}{2}{{\sum\limits_{i=1}^{m}{({{y}^{i}}-{{\theta }^{T}}{{x}^{i}})}}^{2}}
δ2121i=1∑m(yi−θTxi)2的值最小即可
现在开始对目标函数求解
梯度下降
1708
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
