《PyTorch深度学习实践》学习笔记【3】

最新推荐文章于 2024-09-14 18:35:50 发布

Pin_BOY

最新推荐文章于 2024-09-14 18:35:50 发布

阅读量2k

点赞数 7

分类专栏： Pytorch 文章标签： pytorch

本文链接：https://blog.csdn.net/Pin_BOY/article/details/119707344

版权

本文介绍了PyTorch中梯度下降法和反向传播的概念及应用。通过线性回归模型展示了如何利用梯度下降进行参数更新，并解释了反向传播在复杂模型中的作用。同时，详细阐述了PyTorch中的Tensor操作和自动求导机制，以及如何使用PyTorch构建和训练线性模型。

摘要由CSDN通过智能技术生成

《PyTorch深度学习实践》学习笔记【3】

学习资源：
《PyTorch深度学习实践》完结合集

三、梯度下降

类似牛顿迭代法/ 二分法，对cost func 求导 , 利用偏导进行迭代，使得cost func 达到最小值。

具体的求导过程

关键迭代式：

课上实例代码【2】

x_data = [1.0, 2.0, 3.0]
y_data = [2.0, 4.0, 6.0]
w = 1.0
#线性函数
def forward(x):
    return x * w
#MSE
def cost(xs, ys):
    cost = 0
    for x, y in zip(xs, ys):
        y_pred = forward(x)
        cost += (y_pred - y) ** 2
    return cost / len(xs)
#求导函数
def gradient(xs, ys):
    grad = 0
    for x, y in zip(xs, ys):
        grad += 2 * x * (x * w - y)
    return grad / len(xs)

print('Predict (before training)', 4, forward(4))

#迭代！求w
for epoch in range(100):
    cost_val = cost(x_data, y_data)
    grad_val = gradient