实用程序类Accumulator

        前些日子发现动手学深度学习pytorch版李沐大佬是有课的,之前一直跟着另外一个GitHub项目在学,这里是对之前准确率中的一个实用程序类的解释,防止自己忘记。

        

class Accumulator:
    #在n个变量上累加
    def __init__(self, n):
        self.data = [0.0] * n
    def add(self, *args):
        for a, b in zip(self.data, args):
        self.data = [a + float(b) for a,b in zip(self.data, args)]

    def reset(self):
        self.data = [0.0] * len(self.data)

    def __getitem__(self, idx):
        return self.data[idx]

        首先在初始化的时候会根据传进来的n的大小来创建n个空间,且初始化全部为0.0。

        接着在使用.add()的时候情况下,虽然*args代表这里可以传入任意个参数,但是因为要和初始化的个数相同不然要报错。for a,b in zip(self.data,args)是把原来类中对应位置的data和新传入的args做 a + float(b)加法操作然后重新赋给该位置的data。从而达到累加器的累加效果。

        reset函数即重新设置空间大小并初始化。

        __getitem__实现类似数组的取操作。

下面是测试。

class Accumulator:
    #在n个变量上累加
    def __init__(self, n):
        self.data = [0.0] * n
    def add(self, *args):
        for a, b in zip(self.data, args):
            print(a, b)
        self.data = [a + float(b) for a,b in zip(self.data, args)]

    def reset(self):
        self.data = [0.0] * len(self.data)

    def __getitem__(self, idx):
        return self.data[idx]

metric = Accumulator(3)
print(metric[1])
metric.add(3,6,9)
print(metric[1])
metric.add(1,2)
print(metric[1])

输出:

 

  • 13
    点赞
  • 28
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
Accumulator是一个通用的计算机术语,指的是用于累加计算结果或数据的数据结构。在计算机科学中,accumulator经常用于处理大量数据或执行复杂计算时,用于存储和更新累加结果。在机器学习中,accumulator常用于计算参数梯度或统计学习中的一些指标。 在Python中,可以使用内置的sum()函数来实现简单的accumulator,例如: ```python accumulator = 0 for i in range(10): accumulator += i print(accumulator) # 输出:45 ``` 在PyTorch中,accumulator通常用于存储和更新参数梯度,以便在使用优化器更新模型参数时使用。以下是一个简单的示例,说明如何在PyTorch中使用accumulator来计算参数梯度: ```python import torch # 创建一个模型 model = torch.nn.Linear(2, 1) # 创建一个与模型参数具有相同shape的accumulator accumulator = torch.zeros_like(model.weight) # 定义一个损失函数 loss_fn = torch.nn.MSELoss() # 准备数据 x = torch.randn(10, 2) y = torch.randn(10, 1) # 前向传播 y_pred = model(x) # 计算损失 loss = loss_fn(y_pred, y) # 清空梯度 model.zero_grad() # 反向传播 loss.backward() # 将梯度累加到accumulatoraccumulator += model.weight.grad # 使用accumulator计算平均梯度 mean_grad = accumulator / 10 # 使用平均梯度更新模型参数 model.weight -= 0.1 * mean_grad ``` 在上面的示例中,我们首先创建了一个与模型权重具有相同shape的accumulator,然后使用backward()方法计算参数梯度,并将其累加到accumulator中。最后,我们计算了平均梯度并使用它来更新模型参数。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 2
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值