机器学习_一元线性回归1

学习覃禀丰老师的机器学习第一天，一元线性回归、代价函数、梯度下降法

一元线性回归，自变量只有一个，通过一条回归直线描述散点之间的拟合情况。
代价函数，使用最小二乘法计算误差，描述真实值和预测值之间的误差大小。
梯度下降法

这里的公式是会不断的向最小值优化，）α(阿拉法学习率（就是说机器学习的步长，每一步学习的效率）肯定是正数（0~1），θ（西塔）就是这里每一点的斜率，当斜率小于0，那么通过公式θ会变大往右边移动，当斜率大于0，那么通过公式θ会变小往左边移动。会接近全局最小值或局部极小值。当迭代完成时就会获得代价函数最小值或极小值

当函数时二元线性回归或多元线性回归时，使用梯度下降法找到的不一定是全局最小值，也可能使局部极小值。当选取的初始点位置不是很好时，就会导致梯度下降的方向是局部极小值的方向。

来一手代码

import numpy as np
import matplotlib.pyplot as plt

data = np.genfromtxt("data.csv",delimiter=",") #读取csv的文件，以,为分隔符
x_data = data[:,0] #取所有的行但只要第0列
y_data = data[:,1] #取所有的行但只要第1列
# plt.scatter(x_data, y_data) #画散点图
plt.show()

# 学习率learning rate
lr = 0.0001
# 截距
b = 0
# 斜率
k = 0
# 最大迭代次数
epochs = 50

# 最小二乘法
def compute_error(b, k, x_data, y_data):
    totalError = 0
    for i in range(0, len(x_data)):
        totalError += (y_data[i] - (k * x_data[i] + b)) ** 2 
    return totalError / float(len(x_data)) / 2.0  #参见下文最小二乘法图片
    
#梯度下降
def gradient_descent_runner(x_data, y_data, b, k, lr, epochs):
    # 计算总数据量
    m = float(len(x_data))
    # 循环epochs次
    for i in range(epochs):
        b_grad = 0
        k_grad = 0
        # 计算梯度的总和再求平均
        for j in range(0, len(x_data)):
            b_grad += (1/m) * (((k * x_data[j]) + b) - y_data[j])
            k_grad += (1/m) * x_data[j] * (((k * x_data[j]) + b) - y_data[j])
        # 更新b和k
        b = b - (lr * b_grad)
        k = k - (lr * k_grad)
#这里每一次梯度下降就更新一次b和k，不能计算了一次截距(或斜率)就更新一次，要等b和看都完成一次计算在更新
#感觉类先读更新后会让k的值变成下一次梯度下降的值

        # 每迭代5次，输出一次图像
        # if i % 5==0:
        #     print("epochs:",i)
        #     # plt.plot(x_data, y_data, 'b.')
        #     plt.scatter(x_data, y_data)
        #     plt.plot(x_data, k*x_data + b, 'r')
        #     plt.show()
    return b, k

print("Starting b = {0}, k = {1}, error = {2}".format(b, k, compute_error(b, k, x_data, y_data)))
print("Running...")
b, k = gradient_descent_runner(x_data, y_data, b, k, lr, epochs)
print("After {0} iterations b = {1}, k = {2}, error = {3}".format(epochs, b, k, compute_error(b, k, x_data, y_data)))

# 画图
plt.plot(x_data, y_data, 'b.')
plt.plot(x_data, k*x_data + b, 'r')
plt.show()

最小二乘法是求代价函数的方法，公式如下图
梯度下降法公式如下