深度学习中五种归一化原理

L888666Q

于 2024-08-01 16:42:16 发布

阅读量290

点赞数 3

分类专栏：深度学习文章标签：深度学习人工智能

本文链接：https://blog.csdn.net/L888666Q/article/details/140851360

版权

调用库API实现以及手写实现

import torch 
import torch.nn as nn

batch_szie=2 #sample
time_steps=3
embedding_dim=4 #channel
num_group=2

inputx=torch.randn(batch_szie,time_steps,embedding_dim)# N*L*C

批归一化 BatchNorm1d

## 1. 批归一化 实现batch_norm并验证API  ---- per channel
# NLP: [N,L,C] -> [C]
# CV: [N,C,H,W] -> [C]

batch_norm_op = torch.nn.BatchNorm1d(embedding_dim, affine=False)
bn_y = batch_norm_op(inputx.transpose(-1,-2)).transpose(-1,-2)

#手写batch_norm 
bn_mean=inputx.mean(dim=(0,1),keepdim=True) #.unsqueeze(0).unsqueeze(0).repeat(batch_szie,time_steps,1) #C扩维成 N L C
bn_std=inputx.std(dim=(0,1),unbiased=False,keepdim=True) #.unsqueeze(0).unsqueeze(0).repeat(batch_szie,time_