【LR线性回归算法+梯度下降算法】机器学习公式推导计算+详细过程 （入门必备）

线性回归算法

寻找一条直线，最大程度的”拟合“样本特征和样本标签的关系。

公式

$$h_{\theta }(x)={\theta }_0{x}_0+{\theta }_1{x}_1+{\theta }_2{x}_2+...+{\theta }_n{x}_n$$

上式为基本形式。

$$h_{\theta }(x)={\theta }^{T}x$$
上式为向量形式。

损失函数
$$J(\theta )=\frac{1}{2m}\sum _{i=0}^m(h_{\theta }(x^i)-y^i{)}^2$$
其中：
$$y^{(i)}={\theta }_0{x}_0^i+{\theta }_1{x}_1^i+{\theta }_2{x}_2^i+...+{\theta }_n{x}_n^i$$

对损失函数求导

对$\theta$求偏导
$$\frac{\partial J(\theta )}{\partial \theta }=2\sum _{i=1}^m(y^i-\theta x^i-{\theta }_0)\ast (-x^i)$$
对${\theta }_0$求偏导
$$\frac{\partial J(\theta )}{\partial {\theta }_0}=2\sum _{i=1}^m(y^i-\theta x^i-{\theta }_0)\ast (-1)$$

梯度下降公式
$${\theta }_j:={\theta }_j-\alpha \frac{\partial }{\partial {\theta }_j}J(\theta )$$

$$\frac{\partial }{\partial {\theta }_j}J(\theta )=\alpha \frac{\partial }{\partial {\theta }_j}\frac{1}{2m}\sum _{i=0}^m{(h_{\theta }(x^i)-y^i)}^2$$

$$=\alpha \frac{1}{m}\sum _{i=0}^m(h_{\theta }(x^i)-y^i)\ast x^i$$

• 式中$\alpha$表示学习率

梯度下降公式推导
$${\theta }_j:={\theta }_j-\alpha \frac{\partial }{\partial {\theta }_j}J(\theta )$$

$$\frac{\partial }{\partial {\theta }_j}J(\theta )=\frac{\partial }{\partial {\theta }_j}\frac{1}{2m}\sum _{i=0}^m{(h_{\theta }(x^i)-y^i)}^2$$

$$=\frac{1}{2m}\sum _{i=0}^m(\frac{\partial }{\partial {\theta }_j}(h_{\theta }(x^i)-y^i{)}^2)$$

---

• 连式法则：

$$z=f(y)$$

$$y=g(x)$$

$$z=f(g(x))$$

• 对 $ z $求导
  $$(z{)}^{\prime }=(f(g(x)){)}^{\prime }\ast (g(x){)}^{\prime }$$

---

$$=\frac{1}{2m}\sum _{i=0}^m(\frac{\partial }{\partial {\theta }_j}(h_{\theta }(x^i)-y^i{)}^2)\ast (\frac{\partial }{\partial {\theta }_j}(h_{\theta }(x^i)-y^i))$$

• 求幂导

$$=\frac{1}{2m}\sum _{i=0}^{m}2\ast ((h_{\theta }(x^i)-y^i))\ast (\frac{\partial }{\partial {\theta }_i}(\sum _{i=0}^n{\theta }_i{x}_i-y^i))$$

$$=\frac{1}{m}\sum _{i=0}^m((h_{\theta }(x^i)-y^i))\ast (\sum _{i=0}^n(\frac{\partial }{\partial {\theta }_i}{\theta }_i{x}^i-\frac{\partial }{\partial {\theta }_i}{y}_i)$$

$$=\frac{1}{m}\sum _{i=0}^m(h_{\theta }(x^i)-y^i)\ast x^i$$

算法原理

• 将需要预测的数据 ”喂给“模型，计算得到预测值 $y^i$ 。
• 预测值和真实值相减，使得两者之间的误差尽可能的小。
• 定义损失函数。对损失函数求偏导，求极值 。
• 梯度下降，迭代去更新参数${\theta }_j$ 。
• 直到 $\theta$值达到我们预设的阈值，那么迭代停止 。

欢迎大家交流学习，任何问题都可以留言