Batch Normalization

最新推荐文章于 2023-03-28 20:44:45 发布

AI_Younger_Man

最新推荐文章于 2023-03-28 20:44:45 发布

阅读量156

点赞数

分类专栏： # 深度学习文章标签：深度学习机器学习人工智能

本文链接：https://blog.csdn.net/qq_38888209/article/details/106780531

版权

批量归一化是一种用于深度学习的技术，旨在将输入数据规范化到N（0，1）的分布，以优化模型训练。在训练过程中，它利用每个批次的均值和方差，并更新全局统计信息。通过引入超参数γ和β，可以调整标准化后的数据。批量归一化带来的好处包括提高数据的均匀性，加快并稳定收敛速度，增大梯度，允许更大的学习率。

摘要由CSDN通过智能技术生成

目的是为了：把输入的值银蛇到N（0， 1）的均匀分布上
μ，sigma是当前batch的
runing是所有数据的μ， sigma
γ与β是超参数
训练的时候使用当前batch的均值和方差，会保存到总体的均值和方差

在这里插入图片描述
代码：

# 因为在必须使用sigmoid函数情况下在两极是梯度很小的，没有什么作用
# 所以我要使用BN把这个没有用的梯度映射到有用的数值
# 这样我就可以把输出的数值映射到一个N(0, a2)分布上


# Feature Scaling
# 技巧一：Image Normalization
import torch
from torch import nn
from torchvision import transforms
normalize = transforms.Normalize(  # 这一步是把图片的RGB通映射到N（0，a方）
    mean=[0.485,