[论文评析]Gradient Centralization: A New Optimization Technique for Deep Neural Networks, ECCV, 2020

于 2022-09-24 15:20:47 发布
阅读量231 收藏
点赞数
分类专栏： 前沿介绍 Deep learning
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/QKK612501/article/details/127021322
版权

Gradient Centralization: A New Optimization Technique for Deep Neural Networks

文章信息

题目:Gradient Centralization: A New Optimization Technique for Deep Neural Networks
发表: ECCV, 2020
作者:Hongwei Yong 1,2 , Jianqiang Huang 2 , Xiansheng Hua 2 , and Lei Zhang

动机

当前的优化技巧比如Batch Normalization (BN) 和Weights Normalization (WN)主要是利用一阶和二阶统计信息来更新输出或者是参数. 具体来说, BN是通过对每个层激活后的输出进行Z-Score standardization, WN是通过对权重向量进行Z-Score standardization. 这两种方式实际上都可以看作是间接地调整权重更新时的梯度, 那么是否可以直接对梯度进行操作从而来提升训练的效果和稳定性?
与上述两种方式不同, 这篇文章提出一种优化方法直接对梯度进行操作, 具体来说: 对求解之后的梯度首先进行中心化然后再结合其他优化算法进行参数更新.

方法

提出了梯度中心化Gradient Centralization (GC)的方法来对计算出的梯度进行中心化.
在这里插入图片描述如上图所示,直观的看,所谓的Gradient Centralization实际上就是逐列(针对全连接)或者逐片(针对卷积核)进行中心化.

GC的形式化定义

下面给出GC操作的形式化定义,
首先来一波定义:
对于全连接层,对应的参数 W f c ∈ R C i n × C o u t W_{fc} \in R^{C_{in} \times C_{out}} Wfc​∈RCin​×Cout​, 对于卷积层,对应的参数 W c o n v ∈ R C i n × C o u t × ( k 1 k 2 ) W_{conv} \in R^{C_{in} \times C_{out} \times (k_{1}k_{2})} Wconv​∈RCin​×Cout​×(k1​k2​), 其中 C i n , C o u t C_{in}, C_{out} Cin​,Cout​分别为输入和输出的dimensions/channels, k 1 , k 2 k_{1}, k_{2} k1​,k2​为卷积核的尺寸.

为了将上述两种操作的形式统一起来, 将其参数全部表示为 W ∈ R M × N W \in R^{M \times N} W∈RM×N的形式:
对于全连接层: W ∈ R M × N W \in R^{M \times N} W∈RM×N
对于卷积层: W c o n v ∈ R ( C i n ( k 1 k 2 ) ) × C o u t W_{conv} \in R^{ (C_{in} (k_{1}k_{2})) \times C_{out} } Wconv​∈R(Cin​(k1​k2​))×Cout​

为了方便操作,再将 W W W定义为列向量的集合 { w i } , i ∈ 1 , . . . , N \{w_{i}\}, i \in {1,...,N} {wi​},i∈1,...,N, 其中 w i ∈ R M w_{i} \in R^{M} wi​∈RM,

GC的定义如下:
对于 w i w_{i} wi​,中心化之后的梯度,
在这里插入图片描述其中 μ ▽ w i L \mu_{\bigtriangledown_{w_{i}L}} μ▽wi​L​​为第 i i i列的平均值, 定义如下:在这里插入图片描述进一步,用矩阵形式来表示, 对于 W W W,
在这里插入图片描述其中 I {\rm I} I为M阶的单位矩阵, e e e为M维的单位向量, e = 1 M 1 e=\frac{1}{\sqrt{M}}1 e=M ​1​1.

GC在不同优化方法中的应用

GC与随机梯度下降算法SGD的结合

在这里插入图片描述可以看到实际上只是增加了第3步.

GC与ADam算法的结合

在这里插入图片描述可以看到实际上只是增加了第3步.

GC的理论分析

GC能够加速训练,并且能够提升范化能力, 作者从理论层面进行了证实.

GC能够提升泛化能力的原因是因为GC实际上提到了同时在权重空间和输出特征空间进行正则化的作用, 示意图如下:
在这里插入图片描述不说了,有点晦涩, 一堆证明.

思考

1.方法简单, 有效.
2.为什么只对梯度进行中心化,而不是像以往的操作那样进行标准化呢? 作者有提到他们通过实验发现标准化不能提升训练的稳定性, 故而改用了中心化操作, 神奇!

References

  1. Yong H, Huang J, Hua X, et al. Gradient centralization: A new optimization technique for deep neural networks[C]//European Conference on Computer Vision. Springer, Cham, 2020: 635-652.
MasterQKK 被注册
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
Gradient-Centralization:深度神经网络的一种新的优化技术
03-19
渐变集中 介绍 梯度集中（GC）是用于深度神经网络（DNN）的一种简单有效的优化技术，该技术通过将梯度向量集中为零均值来直接对梯度进行操作。它既可以加速训练过程，又可以提高DNN的最终泛化性能。...
Gradient-Centralization-TensorFlow：实现Gradient Centralization并允许其在TensorFlow中用作Python包
03-04
pip install gradient-centralization-tf 用法 为指定的优化器创建集中式渐变函数。 参数： optimizer ：一个tf.keras.optimizers.Optimizer object 。 您正在使用的优化程序。 例子： >> > opt = tf . keras . ...
【论文阅读】Gradient Centralization: A New Optimization Technique for Deep Neural Networks
闻韶
04-12 1691
香港理工&阿里达摩院新作，操作优雅，一行代码嵌入优化器提升性能！ ArXiv 链接：https://arxiv.org/abs/2004.01461 Github 链接：https://github.com/Yonghongwei/Gradient-Centralization 一、摘要 优化技术对有效地训练深度神经网络 (DNN) 而言具有重要意义。结果表明，利用一阶...
Gradient Centralization: A New Optimization Technique for Deep Neural Networks（讲解）
m0_37400316的博客
05-06 479
论文地址：https://arxiv.org/pdf/2004.01461.pdf 项目地址：https://github.com/Yonghongwei/Gradient-Centralization 论文整体解读：化繁为简 不同于基于激活或权重向量运行的技术，该研究提出了一种基于权重向量梯度的简单而有效的 DNN 优化技术——梯度中心化（GC）。 如下图)所示，GC 只是通过中心化梯度向量使其...
计算成本缩减100倍！港中文提出语义分割新方法：张量低秩重建｜ECCV2020
极市平台的技术博客
08-15 660
原文链接：https://bbs.cvmart.net/articles/3099 专注计算机视觉前沿资讯和技术干货 微信公众号：极市平台 官网：https://www.cvmart.net/ -------- 论文 https://arxiv.org/pdf/2008.00490.pdf 代码 https://github.com/CWanli/RecoNet 香港中文大学等提出语义分割新方法：张量低秩重建。 提出背景：上下文信息在语义分割的作用很重要。目前的两种方法：一种是基于非局部自注意力对上下文信息
梯度下降：梯度中心化（gradient centrolization）
fcd_abc的博客
08-19 523
来源 梯度中心化是来自与论文：Gradient Centralization: A New Optimization Technique for Deep Neural Networks 方法 对每个batch样本的梯度去中心化。该方法可以适当提高模型的泛化能力，以及提高梯度下降的效率。其理念来源于batchnorm。 tensorflow中的应用 该方法在tensorflow中的应用代码，我没有找到确切的大牛代码。我自己根据tensorflow的语法写了一个，大家可以作为参考。经本来测试，该方法虽然没有论
Gradient Centralization: 简单的梯度中心化，一行代码加速训练并提升泛化能力 | ECCV 2020 Oral
晓飞的算法工程笔记
08-03 1063
梯度中心化GC对权值梯度进行零均值化，能够使得网络的训练更加稳定，并且能提高网络的泛化能力，算法思路简单，论文的理论分析十分充分，能够很好地解释GC的作用原理   来源：晓飞的算法工程笔记 公众号 论文: Gradient Centralization: A New Optimization Technique for Deep Neural Networks 论文地址：https://arxiv.org/abs/2004.01461 论文代码：https://github.com/Yonghong.
Gradient Descent Finds Global Minima of Deep Neural Networks
01-25
Gradient Descent Finds Global Minima of Deep Neural Networks
A Conjugate Gradient Path Method without Line Search Technique for Unconstrained Optimization
12-29
一个求解无约束优化问题的无线搜索技术共轭梯度路径法，王珏钰，朱德通，提出一种新的解无约束优化问题的离散共轭梯度路径法. 共轭梯度路径通过构造目标函数的二次模型来获得. 在合理的假设条件下,证明了�
论文研究-Nonlinear stochastic variance reduction gradient based neural networks and its convergence.pdf
08-22
基于神经网络的非线性随机梯度学习算法及其收敛性，王健，杨国玲，在实际问题中,大量的最优问题是非凸最优问题。而随机梯度学习算法（SVRG）提供了针对这类问题的一种解决方法,即该算法能够通过训练
30 篇亮点论文、5 大主题带你一览 ECCV 2020研究趋势
zandaoguang的博客
09-08 1415
编译 | 陈彩娴、Barack编辑|陈彩娴转自 | AI科技评论ECCV 2020已圆满落幕。会议收到了1360篇论文投稿，其中包含104篇Oral论文、160篇Spotlight论...
超强语义分割算法！基于语义流的快速而准确的场景解析
我爱计算机视觉
03-28 2764
论文地址：https://arxiv.org/abs/2002.10120代码地址：https://github.com/donnyyou/torchcv该论文提出了一种有效且快速的场景...
将一维数据(序列)转化为二维数据(图像)的方法汇总GAFS, MTF, Recurrence plot,STFT
热门推荐
MasterQKK
02-21 4万+
虽然深度学习方法(1D CNN, RNN, LSTM 等)可以直接处理一维数据，但是当前的深度学习方法主要还是处理二维结构数据的，特别是在计算机视觉CV以及自然语言处理NLP领域，各种各样的方法层出不穷。因此，如果能够将一维序列数据转化为二维(图像)数据, 则可以直接结合CV以及NLP领域的方法，是不是很有趣！ GAF, GASF, GADF, MTF, Recurrence Plot, STFT, 短时傅里叶变换
Tensorflow2梯度带tape.Gradient的用法_（全面，深入)
MasterQKK
03-30 1万+
Tensorflow2梯度带tape.Gradient的用法前言用法Demo 1: 最简单的Demo 2：GradientTape的嵌套两层嵌套分别对不同的变量求导，外层的求导依赖于内层的结果。两层嵌套分别对同一个变量求导，外层的求导依赖于内层的结果。Demo 3： 同时对多个优化目标分别求导Demo 4: 在两层嵌套中需要分别对模型参数和输入进行求导。相关资料 前言 GradientTape是eager模式下计算梯度用的，而eager模式（eager模式的具体介绍请参考文末链接）是TensorFlow 2
深度深度网络设计中各种归一化方法总结
MasterQKK
03-07 5327
批归一化Batch Normalization, BN 层归一化Layer Normalization, LN 实例归一化， Instance Normalization, IN 自适应实例归一化， Adaptive Instance Normalization, AdaIN, 组归一化， Group Normalization, GN 权重归一化， Weight Normalization, WN 统一的数学表达形式
度量两个概率分布差异性/距离的指标总结_KL 散度（相对熵）交叉熵 JS散度 Wasserstein-1距离 Earth-Mover （EM）distance
MasterQKK
04-01 4291
KL 散度（相对熵）Kullback–Leibler divergence 交叉熵 ,交叉熵与KL散度的关系 JS散度（Jensen-Shannon divergence） Wasserstein-1距离 Earth-Mover （EM）distance
点积注意力机制SDPA与多头注意力机制MHA
MasterQKK
07-28 3921
SDPA的全称为Scaled Dot-Product Attention, 属于乘性注意力机制， 简单一句话来说就是，根据Query (Q)与Key之间的匹配度来对Value进行加权，而事实上不管是Query, Ke还是Value都来自于输入，因此所谓的SDPA本质上是对输入信息信息进行重组 MHA全称为Multi-Head Attention, 最早出现在NLP领域， MHA是著名的Transformer架构的基本组成单元，最初提出的动机是为了克服经典的Encoder-Decoder架构存在的long-r
域对抗网络Domain adversarial neural network及其应用相关论文
MasterQKK
04-01 3637
Domain-Adversarial Training of Neural Networks， JMLR Developing Personalized Models of Blood Pressure Estimation A Principled Approach for A Principled Approach for Learning Task Similarity in Multitask Learning MULTI-DOMAIN ADVERSARIA
greedy function approximation:a gradient boosting machine
最新发布
01-12
贪婪函数逼近是一种用于机器学习的算法，它通过逐步逼近最优解来提高模型性能。而梯度提升机（Gradient Boosting Machine，GBM）则是一种常用的贪婪函数逼近方法之一。 梯度提升机是一种集成学习算法，它通过构建多个弱分类器，然后将它们组合成一个强分类器来提高模型性能。GBM的核心思想是不断迭代，每一步都试图拟合前一步的残差，以使整体的拟合效果不断提高。 在贪婪函数逼近中，GBM通过利用梯度下降来选择最优的分裂点。它会尝试每一个可能的分裂点，并计算出相应的损失函数，然后选择损失函数最小的分裂点作为最优解。这样一步一步地迭代，GBM可以逼近出一个较为准确的函数近似。 GBM在实际应用中表现良好，尤其在处理复杂的非线性关系时效果显著。它可以适应各种类型的数据，包括数值型和类别型数据，还能处理缺失值和异常值。此外，GBM还具有较好的灵活性和鲁棒性。 总的来说，贪婪函数逼近中的梯度提升机是一种非常有效的机器学习算法，它通过不断迭代来逼近最优解，以提高模型性能和预测准确度。在实际应用中，GBM已经被广泛应用于各种领域，包括金融、医疗、电商等。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

MasterQKK 被注册

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值