Filter Grafting for Deep Neural Networks

Meng F, Cheng H, Li K, et al. Filter Grafting for Deep Neural Networks[J]. arXiv preprint arXiv:2001.05868, 2020.

收录于 CVPR2020

神经网络存在天然的无效滤波器,滤波器剪枝(filter pruning)技术主要对无效的滤波器进行移除使网络的推理速度增加。然而在这篇文章中,优图提出滤波器嫁接(filter grafting)技术。和pruning相反,优图并不是移除网络的无效滤波器,而是通过引入外部信息的方法来激活无效滤波器使之重新发挥作用。激活的方式为将其他网络的有效滤波器的参数嫁接到无效滤波器上。为了更好地发挥grafting的性能,优图同时提出了信息熵相关的指标评估滤波器的好坏,并用自适应的方式来平衡嫁接网络和被嫁接网络的参数。通过大量的实验,表明grafting后的网络在有效滤波器的数量上和模型性能上均有大幅度的提高。

uploading.4e448015.gif正在上传…重新上传取消

论文中提到3中嫁接方法:

  • Noise as Scions
  • Internal Filters as Scions
  • External Filters as Scions

1、Noise as Scions(使用噪音嫁接)

使用高斯噪声对无效滤波器进行修改

2、Internal Filters as Scions(使用内部滤波器进行嫁接)

uploading.4e448015.gif正在上传…重新上传取消

首先根据l1范数对滤波器进行排序,然后将l1范数较大的滤波器的权值移植到l1范数较小的滤波器中。

3、External Filters as Scions(嫁接外部滤波器)

uploading.4e448015.gif正在上传…重新上传取消

 

两个网络之间的嫁接。每个网络接受来自另一个网络的信息。

 

尚未解决的问题:

1) 在嫁接算法中,如何在网络数目较大的情况下提高网络的性能

2) 如何将嫁接应用到具有不同网络结构的多个网络上

 

 

 

 

 

 

 

 

 

 

 

 

 

 

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值