python forward函数_PyTorch之前向传播函数自动调用forward

神经网络的典型处理如下所示：

1. 定义可学习参数的网络结构（堆叠各层和层的设计）；

2. 数据集输入；

3. 对输入进行处理（由定义的网络层进行处理）,主要体现在网络的前向传播；

4. 计算loss ，由Loss层计算；

5. 反向传播求梯度；

6. 根据梯度改变参数值,最简单的实现方式（SGD）为:

weight = weight - learning_rate * gradient

下面是利用PyTorch定义深度网络层（Op）示例：

class FeatureL2Norm(torch.nn.Module):

def __init__(self):

super(FeatureL2Norm, self).__init__()

def forward(self, feature):

epsilon = 1e-6

# print(feature.size())

# print(torch.pow(torch.sum(torch.pow(feature,2),1)+epsilon,0.5).size())

norm = torch.pow(torch.sum(torch.pow(feature,2),1)+epsilon,0.5).unsqueeze(1).expand_as(feature)

return torch.div(feature,norm)class FeatureRegression(nn.Module):

def __init__(self, output_dim=6, use_cuda=True):

super(FeatureRegression, self).__in