纯Python和PyTorch对比实现SGD, Momentum, RMSprop, Adam梯度下降算法

最新推荐文章于 2024-05-31 01:28:26 发布

BrightLampCsdn

最新推荐文章于 2024-05-31 01:28:26 发布

阅读量4k

点赞数 4

分类专栏：深度学习编程

本文链接：https://blog.csdn.net/oBrightLamp/article/details/85218799

版权

本文对比了使用纯Python和PyTorch两种方式实现SGD、Momentum、RMSprop及Adam这四种常见的梯度下降算法。详细内容包括算法的实现代码及相应的算法检查。

摘要由CSDN通过智能技术生成

摘要

本文使用纯 Python 和 PyTorch 对比实现SGD, Momentum, RMSprop, Adam梯度下降算法.

正文

1. 算法类

文件目录 : vanilla_nn/optim.py

import numpy as np


class SGD:
    def __init__(self, lr=0.01):
        self.lr = lr

    def __call__(self, params, grads):
        params -= self.lr * grads


class Momentum:
    def __init__(self, lr=0.01, momentum=0.9):
        self.lr = lr
        self.momentum = momentum
        self.v = None

    def __call__(self, params, grads):
        if self.v is None:
            self.v = np.zeros_like(params)

        self.v = self.momentum * self.v + grads
        params -= self.lr * self.v


class RMSProp:
    def __init__(self, lr=0.01, alpha=0.9, eps=1e-08):
        self.lr = lr
        self.alpha = alpha
        self.eps = eps
        self.v = None

    def __call__(self, params, grads):
        if self.v is<