机器学习——梯度下降

1、简单的梯度下降算法

'''
简单的梯度下降算法
'''
import numpy as np
import matplotlib.pyplot as plt

#目标函数 y = x^2
def func(x):
    return np.square(x)
#目标函数的一阶导函数，也是偏导
def dfunc(x):
    return 2*x
#梯度下降算法

def GD(x_start,df,epochs,lr):
    '''
    梯度下降法：给定起始值和目标函数的一阶导函数，求epochs次迭代中x的更新值
    :param x_start: x的起始点
    :param df:目标函数的一阶导
    :param epochs:迭代周期
    :param lr:学习率
    :return:x在每次迭代后的位置（包含起始点），epochs长度+1
    '''
    xs = np.zeros(epochs + 1)
    x = x_start
    xs[0] = x
    for i in range(epochs):
        dx = df(x)
        #v表示x变化的幅度
        v = - dx * lr
        x += v
        xs[i+1] = x
    return xs
#展示梯度下降法
def demo_GD():
    line_x = np.linspace(-5,5,100)
    line_y = func(line_x)

    x_start = -5
    epochs = 5
    lr = 0.9
    '''
    当lr=0.1时，拟合效果最好，随着lr的增大，拟合越来也差
    '''

    x = GD(x_start,dfunc,epochs,lr=lr)

    color = 'r'
    plt.plot(line_x,line_y,color='blue')#画出目标函数
    plt.plot(x,func(x),color=color,label='lr={}'.format(lr))#梯度下降过程
    plt.scatter(x,func(x),color=color)#描点
    plt.legend()#用于显示图例
    plt.show()

demo_GD()

'''
给定数据集dataSet，每一行代表一组数据记录,每组数据记录中，第一个值为房屋面积（单位：平方英尺），
第二个值为房屋中的房间数，第三个值为房价（单位：千美元），
试用梯度下降法，构造损失函数，在函数gradientDescent中实现房价price关于房屋面积area和房间数rooms的线性回归，
返回值为线性方程price=θ0+θ1∗area+θ2∗rooms中系数θi(i=0,1,2)的列表


多变量的梯度下降问题
'''
import numpy as np
import matplotlib.pyplot as plt
import pandas as pd

def gradientDescent(rooms, price, area):
    """
    梯度下降法。给定起始点与目标函数的一阶导数，求在epochs次迭代中theta0,theta1,theta2的更新值
    param theta0
    """
    theta = [1,1,1]  # 预设theta初值
    learn_rate = 0.0000000001  # 学习率
    predit_y = 0  # 预测值
    loss = []  # 损失数组
    epochs = 5000  # 迭代次数

    for j in range(epochs):
        theta0, theta1, theta2 = 0, 0, 0
        loss_t = 0  # 计算总体的方差
        for i in range(5):  # 一共五组数据
            predit_y = theta[0] + theta[1] * area[i] + theta[2] * rooms[i]
            theta0 = theta0 + (predit_y - price[i]) * 1
            theta1 = theta1 + (predit_y - price[i]) * area[i]
            theta2 = theta2 + (predit_y - price[i]) * rooms[i]
            loss_t = loss_t + ((predit_y - price[i]) ** 2) / 2
        loss.append(loss_t / 5)
        theta0 = theta0 / 5
        theta1 = theta1 / 5
        theta2 = theta2 / 5
        theta[0] = theta[0] - theta0 * learn_rate
        theta[1] = theta[1] - theta1 * learn_rate
        theta[2] = theta[2] - theta2 * learn_rate
    plt.plot(loss, c='b')
    plt.show()
    print(theta)
    return theta
def demo_GD():
    price = [400, 330, 369, 342, 540]
    rooms = [3, 3, 3, 2, 4]
    area = [2104, 1600, 2400, 1416, 3000]
    gradientDescent(rooms, price, area)
demo_GD()