keras搬砖系列-DenseNet

keras搬砖系列-DenseNet

一、优点：

1，减轻了梯度消失

2，加强了特征的传递

3，更加有效的利用了feature

4，一定程度上减少了参数的数量

在深度学习中，随着网络深度的加深，梯度消失会比较明显

近年来算法核心都在于：create short paths from early layers to later layers。

二、Dense block

在传统的神经网络中，如果你又L层，那么就会有L个链接，在DenseNet中会有(L+1)L/2个链接，简单的来说每一层的输入都来自前面所有层的输出。

DenseNet的优点是网络更窄，参数更加少，每一层的输出的feature map的数量都很小，网络深度越深会导致梯度消失是因为，网络连接越深的时候，输入信息和梯度信息在很多层传递导数导致的，现在的dense connection有正则化的效果,每一层都可以直接连接input和loss，这样就可以减轻梯度消失的现象，这样的网络深度不是问题，对于过拟合还有抑制作用。

三、总结：

DenseNet核心思想就是建立了不同层之间的连接关系，充分利用了feature，进一步减轻了梯度消失的问题，加深网络不是问题，训练效果很好，同时也抑制了过拟合，计算量进行了减少。

转自：http://blog.csdn.net/u014380165/article/details/75142664