只有一个变量的线性回归:
h
(
x
)
=
θ
0
+
θ
1
x
h(x)=\theta_0+\theta_1x
h(x)=θ0+θ1x
需要合理选取
θ
0
,
θ
1
\theta_0,\theta_1
θ0,θ1使得代价函数(平方差代价函数)
J
(
θ
0
,
θ
1
)
=
1
/
(
2
m
)
∑
1
m
(
h
(
x
i
)
−
y
i
)
2
J(\theta_0,\theta_1)=1/(2m)\sum_1^m(h(x^i)-y^i)^2
J(θ0,θ1)=1/(2m)∑1m(h(xi)−yi)2取最小值。
最小化代价函数
使用梯度下降法最小化代价函数
θ
j
=
θ
j
−
α
∂
∂
θ
j
J
(
θ
0
,
θ
1
)
,
j
=
0
,
1
\theta_j=\theta_j-\alpha\frac{\partial}{\partial\theta_j}J(\theta_0,\theta_1),j=0,1
θj=θj−α∂θj∂J(θ0,θ1),j=0,1
α
表
示
学
习
速
率
\alpha表示学习速率
α表示学习速率
更新的时候要同步更新
第一周的课程比较简单,介绍了线性回归、代价函数、梯度下降和一些数学基础知识(矩阵,向量及其运算)。