1 前言
今天在学习机器学习~
第一次在听赵老师,讲到DenseNet时,我就感觉到很神奇,
感觉这种网络似乎用layer实现了一种类似于神经元层之间“全连接”的一种结构,让我感觉到很神奇,
而且这种网络结构在直觉上跟泰勒公式十分类似,
我感觉他们之间肯定是有关联的,
不过后来赵老师又说到,DenseNet用的很少,而且“计算量比较大”,
这让我感到很失望,因为在我心目中,DenseNet似乎是一种“大神”的存在,怎么会不好用呢?
所以这里我想还是探究一下,比较好~
其实更加现实的问题,就是,在进行目标检测的任务时,主干网络是否应该选用DenseNet呢?
说到DenseNet,我们应当也去了解一下他的先驱者ResNet,
(ResNet的提出似乎是为了解决一个“恒等映射”的问题,这个我们在后文中将会详细探讨)
我想既然提出了ResNet,说明CNN的网络架构一定是有局限性的,否则不可能出现“网络层数越深,loss值反而越大”的情况,那么需要探究的问题,就是:CNN架构的局限性,到底是因为NN架构引起的,还是CNN自己本身的“变异”引起的,DenseNet从理论上十分可以完美地解决这个问题呢?