论文阅读:Co-Evolutionary Compression for Unpaired Image Translation

论文阅读:Co-Evolutionary Compression for Unpaired Image Translation

Abstract

作者提出了一种新的协同进化方法来同时减少内存使用和FLOP。在实践中,两个图像域的生成器被编码为两个群体且协同优化来迭代地研究最重要的卷积滤波器。用参数的数量、鉴别器感知正则化和循环一致性来计算每个个体的适应度。

Method

作者指出,传统网络压缩使用的损失函数不适用于图像风格迁移,用作者的话说:“比如,一个“斑马”,不管是有5条还是8条白色条纹,都可以看成是成功的风格迁移”,然而这在传统损失函数看来是非常大的误差,所以作者提出用判别器误差来作为压缩的误差标准:
在这里插入图片描述

这个误差很符合图像迁移的motivation,关注的是压缩前后风格的一致性,同时还有一个循环一致性误差,这个是Cycle Gan中提出的,也要加在误差里:
在这里插入图片描述
总体来说目标函数就是:
在这里插入图片描述

在训练的过程中,同时优化两个generator:

在这里插入图片描述

这篇文章的第二个贡献点是,作者提出对这两个生成器进行协同进化压缩,首先对网络进行二值编码,一个Generator被编码成一个二值编码串,每一位就是网络的每一个通道,值为0即吧这个通道去除。ps:所以作者用的是裁剪滤波器的方法

作者重新定义了N(·):

在这里插入图片描述

pl-1是上一层滤波器的数量,Nl,Cl,Hl,Wl分别是滤波器数量,通道数量,和滤波器的高度和宽度。

以上,得出了一个individual的适应值公式:

在这里插入图片描述

通过这个公式来找到种群中最高适应值的个体,然后将G1、G2中最优秀的个体进行交换,再进行训练,以此迭代,代码framework:

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-0ZCTSR7b-1569830334556)(C:\Users\14817\AppData\Roaming\Typora\typora-user-images\1569830195914.png)]

Conclusion

这篇文章读起来不困难,作者做的主要工作我认为有两点:

  1. 提出了对于图像迁移网络压缩的损失函数,基于风格损失,更加适合这个specific的task
  2. 提出了协同进化的训练算法,framework:
    在这里插入图片描述
  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值