（刘二大人）PyTorch深度学习实践-梯度下降与随机梯度下降

最新推荐文章于 2023-10-30 16:31:38 发布

Catherine_bling

最新推荐文章于 2023-10-30 16:31:38 发布

阅读量443

点赞数 1

分类专栏： PyTorch 文章标签：深度学习 pytorch 机器学习

本文链接：https://blog.csdn.net/Catherine_bling/article/details/127230401

版权

本文介绍了深度学习中的梯度下降算法，探讨了寻找代价函数最小化的局部最优点。通过代码实现和图像展示，解释了在遇到鞍点问题时，如何采用随机梯度下降（SGD）来改进。对比了梯度下降与SGD的时间成本和效果，实践中常通过Batch训练数据来平衡两者的优势。

摘要由CSDN通过智能技术生成

1.使用梯度下降算法其实是寻找的局部最优点，即寻找最优权重使得在此权重下的代价函数最小

2.梯度下降的代码实现以及图像

import numpy as np
import matplotlib.pyplot as plt

#准备数据

x_data = [1.0,2.0,3.0]
y_data = [2.0,4.0,6.0]

w  = 1.0#随机进行权重设置

#前馈网络

def forward(x):
    return x*w

#定义cost函数
def cost(xs,ys):
    cost = 0
    for x,y in zip(xs,ys):
        y_pred = forward(x)
        cost += (y_pred-y)**2
    return cost/len(xs)

#定义梯度
def gradient(xs,ys):
    grad =0
    for x,y in zip(xs,ys):
        y_pred = forward(x)
        grad += 2*x*(y_pred-y)
    return  grad/len(xs)

#进行训练
print("Predict (before training)",4,forward(4))
w_list = []
cost_list =[]
for epoch in range(100):