tensorflow2 ---- 02.回归问题

回归问题

1.连续值预测

结果在实数范围内给出一个值
$$f_{\theta }:x\to y$$其中f(x)是预测结果，x是输入数据，y是真实结果

连续值预测–例子

生成数据

首先用下面的函数生成一些数据，然后用这些数据来预测这个函数中的参数1.477和0.089。其中参数$ϵ$主要是使数据不那么规律，更加逼近真实情况中的数据$$y=1.477\times x+0.089+\epsilon$$csv文件数据
https://pan.baidu.com/s/17rrRnvznVhoqtwecfFfnhQ 提取码：wjl0

预测参数

从现在起，利用数据和数据图像预测函数关系。

根据数据的图像，假设：x 和 y 的关系是一次函数 $y=wx+b$ ，其中 $w$ 是斜率， $b$ 是偏置。
为解出 $w$ 和 $b$ 的值，需要构造一个损失函数 $$loss=\sum _{i=1}^n(w\ast x_i+b-y_i{)}^2$$当loss的值越小，预测值越准确。

那么现在的问题就转换成了如何使得loss的值达到最小。

这里会用到梯度下降法(Gradient Descent)，暂时先直接用，日后再补充进来。其中 $lr$ 表示学习率 learning rate。
$$w^{\prime }=w-lr\ast \frac{\partial loss}{\partial w}$$ $$b^{\prime }=b-lr\ast \frac{\partial loss}{\partial b}$$ 根据上述的公式，计算预测值 $y$$$w^{\prime }\ast x+b^{\prime }\to y$$经过不断的迭代，最终会得到一个最优化的 $w^{\prime }$ 和 $b^{\prime }$ 。这个过程其实是《统计学习方法（第二版）》中感知机学习算法的原始形式。

现在来考虑求解过程。
- 计算loss值：$$loss=\sum _{i=0}^n(w\cdot x_i+b-y_i{)}^2$$
- 计算梯度和更新的参数值
$$loss=(w{x}_1+b-y_1{)}^2+(w{x}_2+b-y_2{)}^2+\cdot \cdot \cdot +(w{x}_n+b-y_n{)}^2$$ 求 loss 关于 $w$ 的偏导 $$\frac{\partial loss}{\partial w}=2(w{x}_1+b-y_1)x_1+2(w{x}_2+b-y_2)x_2+\cdot \cdot \cdot +2(w{x}_n+b-y_n)x_n$$ $$\frac{\partial loss}{\partial w}=2\sum _{i=1}^n(w{x}_i+b-y_i)x_i$$求 loss 关于 $b$ 的偏导 $$\frac{\partial loss}{\partial b}=2(w{x}_1+b-y_1)+2(w{x}_2+b-y_2)+\cdot \cdot \cdot +2(w{x}_n+b-y_n)$$ $$\frac{\partial loss}{\partial b}=2\sum _{i=1}^n(w{x}_i+b-y_i)$$ $w$的更新计算 $$w^{\prime }=w-lr\ast \frac{\partial loss}{\partial w}$$ $b$的更新计算 $$b^{\prime }=b-lr\ast \frac{\partial loss}{\partial b}$$

import numpy as np


# y = wx + b
def compute_error_for_line_given_points(b, w, points):
    totalError = 0
    for i in range(0, len(points)):
        x = points[i, 0]
        y = points[i, 1]
        # computer mean-squared-error
        totalError += (y - (w * x + b)) ** 2
    # average loss for each point
    return totalError / float(len(points))


def step_gradient(b_current, w_current, points, learningRate):
    """梯度更新w和b的值"""
    b_gradient = 0
    w_gradient = 0
    N = float(len(points))
    for i in range(0, len(points)):
        x = points[i, 0]
        y = points[i, 1]
        # grad_b = 2(wx + b - y)
        b_gradient += (2 / N) * ((w_current * x + b_current) - y)
        # grad_w = 2(wx + b - y) * x
        w_gradient += (2 / N) * x * ((w_current * x + b_current) - y)
    # update w'
    new_b = b_current - (learningRate * b_gradient)
    new_w = w_current - (learningRate * w_gradient)
    return new_b, new_w


def gradient_descent_runner(points, starting_b, starting_w, learning_rate, num_iterations):
    b = starting_b
    w = starting_w
    # update for several times
    for i in range(num_iterations):
        b, w = step_gradient(b, w, np.array(points), learning_rate)
    return [b, w]


def run():
    points = np.genfromtxt("data.csv", delimiter=",")
    print(type(points), points.shape)
    learning_rate = 0.0001
    initial_b = 0  # initial y-intercept guess
    initial_w = 0  # initial slope guess
    num_iterations = 1000
    print("Starting gradient descent at b = {0}, w = {1}, error = {2}"
          .format(initial_b, initial_w, compute_error_for_line_given_points(initial_b, initial_w, points)))
    print("Running...")
    [b, w] = gradient_descent_runner(points, initial_b, initial_w, learning_rate, num_iterations)
    print("After {0} iterations b = {1}, w = {2}, error = {3}".
          format(num_iterations, b, w, compute_error_for_line_given_points(b, w, points)))


if __name__ == '__main__':
    run()

输出：

Starting gradient descent at b = 0, w = 0, error = 5565.107834483211
Running...
After 1000 iterations b = 0.08893651993741346, w = 1.4777440851894448, error = 112.61481011613473