（一）线性回归
(x,y) ：一个训练集
(
x
(
i
)
,
y
(
i
)
x^{(i)},y^{(i)}
x(i),y(i))：训练集中第i个样本
以房价数据集为例：
目标函数（objective functions）：
h
θ
(
x
(
i
)
)
=
θ
0
+
θ
1
x
(
i
)
h_{\theta}(x^{(i)})=\theta_0+\theta_1x^{(i)}
hθ(x(i))=θ0+θ1x(i)
代价函数（cost function）：
J
(
θ
0
,
θ
1
)
=
1
2
m
Σ
i
=
1
m
(
h
θ
(
x
(
i
)
)
−
y
(
i
)
)
2
J(\theta_0,\theta_1)=\frac{1}{2m}\Sigma_{i=1}^{m}(h_\theta(x^{(i)})-y^{(i)})^2
J(θ0,θ1)=2m1Σi=1m(hθ(x(i))−y(i))2
也可以叫做平方误差函数（Squared error function）
目标：最小化代价函数，找到此时的
θ
0
,
θ
1
\theta_0,\theta_1
θ0,θ1
（二）梯度下降
θ
j
:
=
θ
j
−
α
∂
∂
θ
j
J
(
θ
0
,
θ
1
)
\theta_j:=\theta_j-\alpha\frac{\partial}{\partial\theta_j}J(\theta_0,\theta_1)
θj:=θj−α∂θj∂J(θ0,θ1)
更新直到收敛
梯度下降可视化
课程思维导图：
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
