线性回归（一）—— 一元线性回归

最新推荐文章于 2024-01-07 19:00:19 发布

木子六日

最新推荐文章于 2024-01-07 19:00:19 发布

阅读量560

点赞数

分类专栏：机器学习/深度学习文章标签：机器学习 python 人工智能逻辑回归

本文链接：https://blog.csdn.net/Paul_1i/article/details/104010510

版权

机器学习/深度学习专栏收录该内容

22 篇文章 2 订阅

订阅专栏

一元线性回归

目的

有一些样本点，点有自变量x和因变量y构成坐标。要用一条直线拟合也就是 $\theta_0+\theta_1x$

我们要找到两个系数使得其最符合这条直线。

代价函数

$J(\theta_0,\theta_1) = \frac{1}{2m}\sum_{i=1}^{m}{(y^i-h_\theta(x^i))^2}$
我们的要找到最合适的两个θ使得代价函数J最小，使得J最小的这两个参数我们认为它是拟合的最好的。

为什么是这个函数呢？很好理解。1/2先不管，平方也能改成绝对值，那么这个公式的意思也就是所有样本点到这条直线的平均距离，找到一条平均距离最小的直线当然也就说明了这条直线是拟合的最好的。

决定系数

这个东西是用来说明拟合的好不好的一个指标,不是一元的，不是线性的都可以。

总平方和： $\sum_{i=1}^{n}(y_i-y_均）^2$
回归平方和： $\sum_{i=1}^{n}(y_预-y_均）^2$
残差平方和： $\sum_{i=1}^{n}(y_i-y_预）^2$

由此可以得到决定系数：
$R^2 = \frac{SSR}{SST} = 1 - \frac{SSE}{SST}$

至于为什么SST = SSR + SSE，经过我的百度，是这样的：
$y_i - y_均 = y_i - y_预 + y_预 - y_均$

$\sum_{i=1}^{n}(y_i-y_均）^2 = \sum_{i=1}^{n}(y_预-y_均）^2 + \sum_{i=1}^{n}(y_i-y_预）^2 + 2\sum_{i=1}^{n}{(y_i-y_预)(y_预-y_均)}$

只要说明 $\sum_{i=1}^{n}{(y_i-y_预)(y_预-y_均)}$ 为0就可以了

$\sum_{i=1}^{n}{(y_i-y_预)(y_预-y_均)} = \sum_{i=1}^{n}{(y_i-y_预)(\theta_0+\theta_1x_i-y_均)}$

$=(\theta_0-y_均)\sum_{i=1}^{n}{(y_预-y_均)}+\theta_1\sum_{i=1}^{n}{(y_预-y_均)}x_i$

要使残差平方和最小或者代价函数最小，那么 $J(\theta_0,\theta_1)$ 在 $\theta_0$ , $\theta_1$ 处的偏导数为0

对 $\theta_0$ 求导得 $\sum_{i=1}^{n}{(y_预-y_均)}=0$

对 $\theta_1$ 求导得 $\sum_{i=1}^{n}{(y_预-y_均)}x_i=0$

因此SST = SSR + SSE。

梯度下降

现在目的明确，也就是说我们要找到两个数 $\theta_0$ 和 $\theta_1$ 使得损失函数达到最小值。

极小值怎么求？求偏导，沿着导数方向下降肯定是降得最快的嘛。

那我们就可以先随便取个 $\theta_0$ 和 $\theta_1$ ,然后不断迭代直至找到局部极小值。
$\theta_j := \theta_j - \alpha\frac{∂}{∂\theta_j}J(\theta_0,\theta_1)$
其中 $\alpha$ 代表步长，也称为学习率。

负号保证了 $\theta$ 永远是朝着J变小的方向移动：

如果偏导是正的，那么函数是增大趋势，添负号向减小方向移动；

如果偏导是负的，那就要沿数轴正向移动使J减小，刚好负负得正。

这个公式很好理解。

但是这个方法也是有一点问题的，可能会陷入局部极小值，局部极小值不一定是全局最小值。

那我们分别对 $\theta_0$ 和 $\theta_1$ 求偏导得到：
$\theta_0 := \theta_0 - \alpha\frac{1}{m}\sum_{i=1}^{m}{(\theta_0+\theta_1x_i-y_i)}$

$\theta_1 := \theta_1 - \alpha\frac{1}{m}\sum_{i=1}^{m}{(\theta_0+\theta_1x_i-y_i)x_i}$

除了 $\theta$ 是未知的外，其他都是已知，就根据这两个式子来迭代求出 $\theta$ 。

梯度下降实现一元线性回归

# encoding：utf-8
import numpy as np
import matplotlib.pyplot as plt
# 读入数据
data = np.genfromtxt("../data/data.csv", delimiter=",")
x_data = data[:, 0]
y_data = data[:, 1]

# 学习率learning rate
lr = 0.0001
# 截距
b = 0
# 斜率
k = 0
# 迭代次数
epochs = 50


# 定义代价函数
def compute_loss(b, k, x_data, y_data):
    total_loss = 0
    for i in range(0, len(x_data)):
        # 真实值减预测值平方后求和
        total_loss += (y_data[i] - (k * x_data[i] + b)) ** 2
    return total_loss / 2.0 / float(len(x_data))


# 用梯度下降法求出最好的k和b
def gradient_descent_runner(x_data, y_data, b, k, lr, epochs):
    # 总数据量m
    m = float(len(x_data))
    # 开始迭代计算
    for i in range(epochs):
        # 这两个临时变量用来存当前的“梯度”
        b_grad = 0
        k_grad = 0
        # 计算“梯度”
        for j in range(0, len(x_data)):
            b_grad += (1 / m) * ((k * x_data[j] + b) - y_data[j])
            k_grad += (1 / m) * x_data[j] * ((k * x_data[j] + b) - y_data[j])
        # 更新k和b
        b = b - (lr * b_grad)
        k = k - (lr * k_grad)
    return b, k


# 输出相关信息
print("初始 b = {0},k = {1} 代价函数的值为 {2}".format(b, k, compute_loss(b, k, x_data, y_data)))
b, k = gradient_descent_runner(x_data, y_data, b, k, lr, epochs)
print("现在 b = {0},k = {1} 代价函数的值为 {2}".format(b, k, compute_loss(b, k, x_data, y_data)))

# 画图
plt.plot(x_data, y_data, 'b.')
plt.plot(x_data, k * x_data + b, 'r')
plt.show()

效果展示

调库实现一元线性回归

# encoding:utf-8
from sklearn.linear_model import LinearRegression
import numpy as np
import matplotlib.pyplot as plt

# 载入数据
data = np.genfromtxt("../data/data.csv", delimiter=",")
# LinearRegression要求传入的数据是两维
x_data = data[:, 0, np.newaxis]
y_data = data[:, 1, np.newaxis]

# 创建并拟合模型
model = LinearRegression()
model.fit(x_data, y_data)

# 画图
plt.plot(x_data, y_data, 'g.')
plt.plot(x_data, model.predict(x_data), 'brown')
plt.show()