ML：线性回归算法

​ 机器学习顾名思义就是让机器去进行学习，而学习则需要有大量的数据，机器学习大体上的思路是对一堆数据建立一个初始化参数的模型，用初始化参数求得的值与真实值做对比再对参数进行更新。

一、建立回归模型

​ 假设我们有一组数据：

​ 横轴是我们的特征值x，纵轴是我们需要得到的标签值y，我们假设特征值x乘上一个 θ再加上一个偏置b就可以得到：

​ $h(x)={\theta }_0+{\theta }_1{x}_1$

但是很多时候特征值不止一个，比如说我去银行贷款，那么贷款的额度就需要根据你的年龄和工资来评判，那么年龄和工资就是额度的两个特征值，可以得到：

​ $h(x)={\theta }_0+{\theta }_1{x}_1+{\theta }_2{x}_2$

那么如果有一组数据有n个特征值，此时可以建立:

​ $h(x_i)={\theta }_0+{\theta }_1{x}_1+{\theta }_2{x}_2+......+{\theta }_i{x}_i={\sum }_{i=0}^m{\theta }_i{x}_i$

其中我们规定$x_0=1$。

二、误差函数及求导

​ 通常我们得到一个模型之后首先会初始化参数$\theta$,根据已有的特征值和$\theta$可以得到预测值，那么第一次初始化参数得到的预测值肯定是不准确的，所以我们将预测值与真实值做对比建立一个误差函数。误差函数有很多，针对分类和回归问题也有不同的误差函数，在这里就以最小二乘法为例：

​ 假设我们有$j$个样本，每个样本有$i$个特征值, 那么误差函数就可以表示为:

​ $Loss(y|x^{(i)},{\theta }^{(i)})=\frac{1}{m}{\sum }_{j=0}^m(y_j-h(x_j^{(i)}){)}^2$

​ 现在我们要求$\theta$为多少时误差函数最小，那么就要对$\theta$求偏导：

​ $\frac{\partial Loss(y|x^{(i)},{\theta }^{(i)})}{\partial \theta }=\frac{1}{2m}{\sum }_{j=0}^m(y_j-h(x_j^{(i)}))x_j^{(i)}$

三、梯度下降算法优化

​ 根据数据我们得到了模型和误差函数，接下来就要进行优化参数了。梯度下降算法是机器学习的一个核心，目的是通过梯度下降的方向来不断更新我们初始的参数$\theta$。

​ 那么优化前首先要理解学习率（leraning rate）的概念，比如说人下山要下到山的最低点，人要想最快达到最低点就必须沿着梯度的方向下山那么每一步下多少呢，此时就引入了学习率，就是人每一步下山的多少。

​ 然后就是参数优化公式：

​ ${\theta }_i={\theta }_i^{{}^{\prime }}-\alpha \frac{\partial Loss}{\partial \theta }$

​ 此外梯度下降算法有不同的优化方式：

​ 1.批量梯度下降（Batch Gradient Descent）

​ ${\theta }_i={\theta }_i^{{}^{\prime }}+\alpha \frac{1}{m}{\sum }_{j=0}^m(y_i-h(x_j^{(i)}))x_j^{(i)}$

​ 批量梯度下降容易得到最优解，但是由于每次考虑所有的样本，速度会很慢

​

​ 2.随机梯度下降（Stochastic Gradient Descent）:

​ ${\theta }_i={\theta }_i^{{}^{\prime }}+\alpha (y_i-h(x_j^{(i)}))x_j^{(i)}$

​ 每次找一个样本，迭代速度快，但不一定每次都朝着收敛的方向

​ 3.小批量梯度下降（Mini-Batch Gradient Descent）:

​ 小批量梯度下降是对批量梯度下降以及随机梯度下降的一个折中办法。其思想是：每次迭代使用 batch_size 个样本来对参数进行更新。

​ ${\theta }_i={\theta }_i^{{}^{\prime }}+\alpha \frac{1}{10}{\sum }_{k=2}^{j=9}(y_i-h(x_j^{(i)}))x_j^{(i)}$

下面是一个梯度下降小实例：

# 其中的参数可以试着自己修改，比如学习率不同对优化的影响
# 规定数据 特征值x1, x2对应一个y
x1, x2, y = 3, 5, 100

# 建立模型
def fuc(theta1, theta2, learn_rate):
   # 预测值
   y_pre = theta1 * x1 + theta2 * x2
   # 损失值
   loss = (y - y_pre)**2
   # 求导
   loss_theta =  - 2 * (y - y_pre) * (x1 + x2)
   # 更新theta
   theta_new1 = theta1 - learn_rate * loss_theta
   theta_new2 = theta2 - learn_rate * loss_theta
   return theta_new1, theta_new2, loss, y_pre

theta1, theta2, learn_rate = 1, 2, 0.01
# 训练
while (1):
   theta1, theta2, loss, y_pre = fuc(theta1, theta2, learn_rate)
   # 当loss小于某值停止训练并输出theta,loss,pre值
   if loss < 0.01:
      print("theta is:", theta1, theta2)
      print("loss is:", loss)
      print("pre is:", y_pre)
      print("accurate is:", y_pre/y)
      break

theta is: 11.876467355975683 12.876467355975683
loss is: 0.001757660048461526
pre is: 99.95807554355198
accurate is: 0.999962710942764