- 定义：只有一个特征（输入）变量的问题称为单变量线性回归问题，可以表示为: h θ ( x ) = θ 0 + θ 1 ( x ) h_{\theta}(x)=\theta_{0}+\theta_{1}(x) hθ(x)=θ0+θ1(x),其中 θ i , i = 1 , 2 \theta_{i},i=1,2 θi,i=1,2是待定参数。
为了找出最好的直线来拟合给定数据，我们需要定义代价函数（Cost function）
- Cost function：
J ( θ 0 , θ 1 ) = 1 2 m ∑ i = 1 m ( h θ ( x ( i ) ) − y ( i ) ) 2 J\left(\theta_{0}, \theta_{1}\right)=\frac{1}{2 m} \sum_{i=1}^{m}\left(h_{\theta}\left(x^{(i)}\right)-y^{(i)}\right)^{2} J(θ0,θ1)=2m1i=1∑m(hθ(x(i))−y(i))2
其中，m是训练样本数量。
我们想要使模型所预测的值与训练集中实际值之间的差距，也就是让cost function取最小值。
我们的目标是找出参数 θ i , i = 1 , 2 \theta_{i},i=1,2 θi,i=1,2使得 J ( θ 0 , θ 1 ) J\left(\theta_{0}, \theta_{1}\right) J(θ0,θ1)最小。 - 梯度下降是一个用来求函数最小值的算法，我们将使用梯度下降算法来求出代价函数
J
(
θ
0
,
θ
1
)
J\left(\theta_{0}, \theta_{1}\right)
J(θ0,θ1)的最小值。
其思想是：开始时我们随机选择一个参数的组合 ( θ 0 , θ 1 , … … , θ n ) \left(\theta_{0}, \theta_{1}, \ldots \ldots, \theta_{n}\right) (θ0,θ1,……,θn)，计算代价函数，然后我们寻找下一个能让代价函数值下降最多的参数组合。我们持续这么做直到找到一个局部最小值（local minimum），因为我们并没有尝试完所有的参数组合，所以不能确定我们得到的局部最小值是否便是全局最小值（global minimum），选择不同的初始参数组合，可能会找到不同的局部最小值。
梯度下降算法：循环直至收敛
θ j : = θ j − α ∂ ∂ θ j J ( θ 0 , θ 1 ) f o r j = 1 a n d j = 0 \theta_{j}:=\theta_{j}-\alpha \frac{\partial}{\partial \theta_{j}} J\left(\theta_{0}, \theta_{1}\right)\quad for j=1 and j=0 θj:=θj−α∂θj∂J(θ0,θ1)forj=1andj=0
线性回归模型：
h θ ( x ) = θ 0 + θ 1 ( x ) h_{\theta}(x)=\theta_{0}+\theta_{1}(x) hθ(x)=θ0+θ1(x)
J ( θ 0 , θ 1 ) = 1 2 m ∑ i = 1 m ( h θ ( x ( i ) ) − y ( i ) ) 2 J\left(\theta_{0}, \theta_{1}\right)=\frac{1}{2 m} \sum_{i=1}^{m}\left(h_{\theta}\left(x^{(i)}\right)-y^{(i)}\right)^{2} J(θ0,θ1)=2m1∑i=1m(hθ(x(i))−y(i))2
线性回归问题运用梯度下降法，关键在于求出代价函数的导数，即： ∂ ∂ θ j J ( θ 0 , θ 1 ) = ∂ ∂ θ j 1 2 m ∑ i = 1 m ( h θ ( x ( i ) ) − y ( i ) ) 2 \frac{\partial}{\partial \theta_{j}} J\left(\theta_{0}, \theta_{1}\right)=\frac{\partial}{\partial \theta_{j}} \frac{1}{2 m} \sum_{i=1}^{m}\left(h_{\theta}\left(x^{(i)}\right)-y^{(i)}\right)^{2} ∂θj∂J(θ0,θ1)=∂θj∂2m1i=1∑m(hθ(x(i))−y(i))2
j = 0 时 : ∂ ∂ θ 0 J ( θ 0 , θ 1 ) = 1 m ∑ i = 1 m ( h θ ( x ( i ) ) − y ( i ) ) j = 1 时 : ∂ ∂ θ 1 J ( θ 0 , θ 1 ) = 1 m ∑ i = 1 m ( ( h θ ( x ( i ) ) − y ( i ) ) ⋅ x ( i ) ) \begin{array}{l} j=0 \text { 时 }: \frac{\partial}{\partial \theta_{0}} J\left(\theta_{0}, \theta_{1}\right)=\frac{1}{m} \sum_{i=1}^{m}\left(h_{\theta}\left(x^{(i)}\right)-y^{(i)}\right) \\ j=1 \text { 时 }: \quad \frac{\partial}{\partial \theta_{1}} J\left(\theta_{0}, \theta_{1}\right)=\frac{1}{m} \sum_{i=1}^{m}\left(\left(h_{\theta}\left(x^{(i)}\right)-y^{(i)}\right) \cdot x^{(i)}\right) \end{array} j=0 时 :∂θ0∂J(θ0,θ1)=m1∑i=1m(hθ(x(i))−y(i))j=1 时 :∂θ1∂J(θ0,θ1)=m1∑i=1m((hθ(x(i))−y(i))⋅x(i))
则算法改写成： 循环直至收敛
θ 0 : = θ 0 − a 1 m ∑ i = 1 m ( h θ ( x ( i ) ) − y ( i ) ) θ 1 : = θ 1 − a 1 m ∑ i = 1 m ( ( h θ ( x ( i ) ) − y ( i ) ) ⋅ x ( i ) ) \begin{aligned} &\theta_{0}:=\theta_{0}-a \frac{1}{m} \sum_{i=1}^{m}\left(h_{\theta}\left(x^{(i)}\right)-y^{(i)}\right)\\ &\theta_{1}:=\theta_{1}-a \frac{1}{m} \sum_{i=1}^{m}\left(\left(h_{\theta}\left(x^{(i)}\right)-y^{(i)}\right) \cdot x^{(i)}\right) \end{aligned} θ0:=θ0−am1i=1∑m(hθ(x(i))−y(i))θ1:=θ1−am1i=1∑m((hθ(x(i))−y(i))⋅x(i))
参考文献：黄海广博士的机器学习个人笔记完整版v5.5
4554
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
