机器学习（四）一元线性回归

线性回归

一元线性回归（单特征）

$$h_{\theta }(x)={\theta }_0+{\theta }_{1}x$$

这个方程对于的图像是一条直线，称为回归线。其中${\theta }_1$为回归线的斜率，${\theta }_0$为回归线的截距

代价函数（损失函数）

• 最小二乘法计算误差

$$J({\theta }_0,{\theta }_1)=1/2m\sum _{i=1}^m(y^i-h_{\theta }(x^i){)}^2$$

1. $y$ 为真实值，预测值为 $h_{\theta }(x)$误差平方为 $(y-h_{\theta }(x){)}^2$

2.寻找合适的参数，使得误差平方和最小。

3.代码实现

#最小二乘法  b为截距 k为斜率
def compute_error(b, k, x_data, y_data):
    totalError = 0
    for i in range(0,len(x_data)):
        totalError += (y_data[i] - (k * x_data[i] + b)) ** 2
    return totalError / float(len(x_data)) / 2.0

• 相关系数
  
  衡量线性相关性的强弱
• 决定系数
  
  用来描述非线性或者两个及两个以上自变量的相关关系强弱

梯度下降法求解

• 原理：不断改变 ${\theta }_0,{\theta }_1$直到$J({\theta }_0,{\theta }_1)$到达一个全局最小值，或者局部最小值
  
• 求法

$${\theta }_j:={\theta }_j-\alpha \frac{\partial }{\partial {\theta }_j}J({\theta }_0,{\theta }_1)$$

$$(forj=1andj=0)$$

其中偏导部分的求法：

$$\frac{\partial }{\partial {\theta }_j}J({\theta }_0,{\theta }_1)=$$

$$j=0:\frac{\partial }{\partial {\theta }_0}J({\theta }_0,{\theta }_1)=\frac{1}{m}\sum _{i=1}^m(h_{\theta }(x^i)-y^i)$$

$$j=1:\frac{\partial }{\partial {\theta }_1}J({\theta }_0,{\theta }_1)=\frac{1}{m}\sum _{i=1}^m(h_{\theta }(x^i)-y^i).x^i$$

• 实现代码

# learning rate
lr = 0.0001
#截距
b = 0
#斜率
k = 0
#最大迭代次数
epochs = 50
#梯度下降法求 b 和 k
def gradient_descent_runner(x_data, y_data, b, k, lr, epochs):
    # 计算总数据量
    m = float(len(x_data))
    # 循环epochs次
    for i in range(epochs):
        b_grad = 0
        k_grad = 0
        # 计算梯度的总和再求平均
        for j in range(0, len(x_data)):
            b_grad += (1/m) * (((k * x_data[j]) + b) - y_data[j])
            k_grad += (1/m) * x_data[j] * (((k * x_data[j]) + b) - y_data[j])
        # 更新b和k
        b = b - (lr * b_grad)
        k = k - (lr * k_grad)
        # 每迭代5次，输出一次图像
        if i % 5==0:
            print("epochs:",i)
            plt.plot(x_data, y_data, 'b.')
            plt.plot(x_data, k*x_data + b, 'r')
            plt.show()
    return b, k

利用sklearn库求解

利用 sklearn库中的 LinearRegression（线性回归）函数

from sklearn.linear_model import LinearRegression#导入线性回归函数
import numpy as np
import matplotlib.pyplot as plt
# 创建并拟合模型
model = LinearRegression()
model.fit(x_data, y_data)
# 画图
plt.plot(x_data, y_data, 'b.')
plt.plot(x_data, model.predict(x_data), 'r')
plt.show()