Network in Network 是google提出的一种在网络结构上非常具有创造性的文章。以前的深度学习结构,往往是CNN+FC之类的组合,这样在CNN与FC进行结合的过程中,则把两部分过程独立来开,CNN负责提取特征,FC负责特征分类。
而NIN则利用mlpconv和global average pooling将CNN和FC两部分有机的结合在一起,使得其可解释性更强。从而文章的创新点:
*提出了mlpconv代替普通的卷积操作,从而来提升抽象能力
*提出了global average pooling,从而将CNN与FC有机的结合在一起,使得整个网络结构的可解释性更加强,效果也更佳
创新点一:mlpconv
首先,普通的卷积操作都是通过一个线性变换,然后后面跟着一个非线性激励函数
output(x)=f(w