均值归一化_图像中的各种归一化总结

作者:泛音公众号:知识交点只分享知识,不发新闻,欢迎机器学习爱好者的投稿。

内容包含:BatchNormalization、LayerNormalization、InstanceNorm、GroupNorm、SwitchableNorm

1.简述

1.1 论文链接

(1)、Batch Normalizationhttps://arxiv.org/pdf/1502.03167.pdf(2)、Layer Normalizaitonhttps://arxiv.org/pdf/1607.06450v1.pdf(3)、Instance Normalizationhttps://arxiv.org/pdf/1607.08022.pdfhttps://github.com/DmitryUlyanov/texture_nets(4)、Group Normalizationhttps://arxiv.org/pdf/1803.08494.pdf(5)、Switchable Normalizationhttps://arxiv.org/pdf/1806.10779.pdfhttps://github.com/switchablenorms/Switchable-Normalization

1.2 整体介绍

归一化层,目前主要有这几个方法,Batch Normalization(2015年)、Layer Normalization(2016年)、Instance Normalization(2017年)、Group Normalization(2018年)、Switchable Normalization(2018年);

将输入的图像shape记为[N, C, H, W],这几个方法主要的区别就是在:

batchNorm是在batch上,对NHW做归一化,对小batchsize效果不好;

layerNorm在通道方向上,对CHW归一化,主要对RNN作用明显;

instanceNorm在图像像素上,对HW做归一化,用在风格化迁移;

GroupNorm将channel分组,然后再做归一化;

SwitchableNorm是将BN、LN、IN结合,赋予权重,让网络自己去学习归一化层应该使用什么方法。

0fc64e8a-7c11-eb11-8da9-e4434bdf6706.png

2.详细解说

2.1 Batch Normalization

11c64e8a-7c11-eb11-8da9-e4434bdf6706.png

算法过程:

(1)、沿着通道计算每个batch的均值u

(2)、沿着通道计算每个batch的方差σ^2

(3)、对x做归一化,x’=(x-u)/开根号(σ^2+ε)

(4)、加入缩放和平移变量γ和β ,归一

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值