torch.expand(-1, -1)的理解

torch.expand(-1, -1)的理解

在expand中的-1表示取当前所在维度的尺寸,也就是表示当前维度不变。
在代码中 一般用这方法解决不想手动计算维度的时候

例:

import torch

x = torch.Tensor([[1], [2], [3]])
x0 = x.size(0)  # 取x第一维的尺寸,x0 = 3
x1 = x.expand(-1, 2)
x2 = x.expand(3, 2)

输出:

x0 =  3
x1 =  tensor([[1., 1.],
        [2., 2.],
        [3., 3.]])
x2 =  tensor([[1., 1.],
        [2., 2.],
        [3., 3.]])

从例子可以看出x1 = x.expand(-1, 2)等价于x2 = x.expand(3, 2)

好的,以下是基于`torch.autograd.Function`实现`torch.nn.Linear`功能的示例代码: ```python import torch from torch.autograd import Function class LinearFunction(Function): @staticmethod def forward(ctx, input, weight, bias=None): ctx.save_for_backward(input, weight, bias) output = input.mm(weight.t()) if bias is not None: output += bias.unsqueeze(0).expand_as(output) return output @staticmethod def backward(ctx, grad_output): input, weight, bias = ctx.saved_tensors grad_input = grad_weight = grad_bias = None if ctx.needs_input_grad[0]: grad_input = grad_output.mm(weight) if ctx.needs_input_grad[1]: grad_weight = grad_output.t().mm(input) if bias is not None and ctx.needs_input_grad[2]: grad_bias = grad_output.sum(0) return grad_input, grad_weight, grad_bias class LinearLayer(torch.nn.Module): def __init__(self, input_size, output_size): super(LinearLayer, self).__init__() self.input_size = input_size self.output_size = output_size self.weight = torch.nn.Parameter(torch.Tensor(output_size, input_size)) self.bias = torch.nn.Parameter(torch.Tensor(output_size)) self.reset_parameters() def reset_parameters(self): torch.nn.init.kaiming_uniform_(self.weight, a=math.sqrt(5)) if self.bias is not None: fan_in, _ = torch.nn.init._calculate_fan_in_and_fan_out(self.weight) bound = 1 / math.sqrt(fan_in) torch.nn.init.uniform_(self.bias, -bound, bound) def forward(self, input): return LinearFunction.apply(input, self.weight, self.bias) ``` 在这个示例中,我们首先定义了一个名为`LinearFunction`的自定义函数,该函数继承自`torch.autograd.Function`。在这个函数中,我们实现了linear层的前向传播和反向传播逻辑。 接下来,我们定义了`LinearLayer`类,该类继承自`torch.nn.Module`。在类的构造函数中,我们创建了权重和偏置项参数,并使用`reset_parameters`方法对它们进行初始化。 在`forward`方法中,我们调用了`LinearFunction`的`apply`方法来完成linear层的前向传播。通过这种方式,我们可以将`LinearFunction`作为一个可调用的函数使用,并且它具有自动求导的能力。 你可以创建一个`LinearLayer`的实例,并将输入数据传递给它进行前向传播。希望这个示例能够帮助你理解如何基于`torch.autograd.Function`实现linear层的功能!
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值