Discovering Neural Wiring(2019 nips, nas)
概述:
这篇文章的感觉是用剪枝的思想来学习神经元(通道)之间的连线。
算法:
将channel作为node,edge对应weight
首先将边分为:
划分的依据是edge的权重|weight|的大小,取前k大为实边
在前向传播的时候将信息只在实边上流通,如图:
v点的输入信息表示为:
u点的信息即可表示为:
f函数是激活函数、batchnorm、c...
原创
2019-11-29 19:59:19 ·
285 阅读 ·
0 评论