2021-04-05

最新推荐文章于 2021-05-05 01:17:19 发布

weixin_46945103

最新推荐文章于 2021-05-05 01:17:19 发布

阅读量159

点赞数

本文链接：https://blog.csdn.net/weixin_46945103/article/details/115447437

版权

本文介绍了微分和梯度的概念，并详细阐述了梯度下降法的原理。通过Excel和Python实现，求解了二次函数的近似根，并对比了最小二乘法和梯度下降法在线性回归问题中的应用。文中还提供了Python矩阵运算的示例，并展示了如何用梯度下降法优化线性回归模型，最后输出了模型参数和代价函数的值。

摘要由CSDN通过智能技术生成

一、学习任务

1.解释微分、梯度的含义？什么是梯度下降法？

解释微分、梯度的含义？什么是梯度下降法？
1）用梯度下降法手工求解
在这里插入图片描述

2.在Excel里用牛顿法、或者梯度下降法求解 z=2(x-1)2+y2 的近似根。

2.线性回归可以用最小二乘法求解，也可以用梯度下降法求解。调试、运行并详细注解文中的梯度下降法求解回归方程的python代码，对获得的结果与最小二乘法的结果进行对比。调试、运行并详细注解文中的梯度下降法求解回归方程的python代码，对获得的结果与最小二乘法的结果进行对比。
在这里插入图片描述

Python矩阵基本运算学习

在这里插入图片描述

三、线性回归求解

定义一个代价函数在这里插入图片描述

#导入bumpy包
from numpy import *
#定义别名
import numpy as np
# 定义数据集的大小 即20个数据点
m = 20
# x的坐标以及对应的矩阵
X0 = ones((m, 1))  # 生成一个m行1列的向量，其值全是1
X1 = arange(1, m+1).reshape(m, 1)  # 生成一个m行1列的向量，也就是x1，从1到m
X = hstack((X0, X1))  # 按照列堆叠形成数组，其实就是样本数据
# 对应的y坐标
Y = np.array([
    3, 4, 5, 5, 2, 4, 7, 8, 11, 8, 12,
    11, 13, 13, 16, 17, 18, 17, 19, 21
]).reshape(m, 1)
# 学习率
alpha = 0.01
import matplotlib.pyplot as plt
#绘制出数据集
plt.scatter(X1,Y,color='red')
plt.show()

在这里插入图片描述

# 梯度下降迭代
def gradient_descent(X, Y, alpha):
    #将[1,1]变为2行1列的形式
    theta = array([1, 1]).reshape(2, 1)
    #得到代价函数的初始梯度
    gradient = gradient_function(theta, X, Y)
    #不断迭代的过程
    while not all(abs(gradient) <= 1e-5):
    	#更新迭代公式
        theta = theta - alpha * gradient
        #更新迭代所用的梯度
        gradient = gradient_function(theta, X, Y)
    return theta

#梯度下降最终的结果
optimal = gradient_descent(X, Y, alpha)
print('optimal:\t', optimal)
print('cost function:', cost_function(optimal, X, Y)[0][0])
# 定义代价函数对应的梯度函数
def gradient_function(theta, X, Y):
    diff = dot(X, theta) - Y
    return (1/m) * dot(X.transpose(), diff)