-
---我们的基本设计方案(VGG-style)
所有的3x3卷积层(几乎所有)
空间规模/2=>#过滤器x2 (~每一层的复杂度相同)
简约的设计风格;保持设计风格的简约性
---VLAD & 费舍尔向量(Fisher Vector) [Jegou et al 2010], [Perronnin et al 2007]
编码残差向量;强大的较浅表示法。
---产品量化(IVF-ADC) [Jegou et al 2011]
量化残差向量;高效最近邻搜索。
---多栅 & 分层的先决前提 [Briggs, et al 2000], [Szeliski 1990, 2006]
解决残差次要问题;高效PDE求解器。
---优点:
(1)特别深的残差网络很容易优化,但当深度增加时对应的“平面”网(即简单的堆栈层)表现出更高的训练误差。
(2)深度残差网络能够在大大增加深度的同时获得高精准度, 产生的结果本质上优于以前的网络。
---VGG-Net的所有 convolutional layer 使用同样大小的 convolutional filter,大小为 3 x 3。
---VGG-Net 的组成:http://blog.csdn.net/u012767526/article/details/51442367#vgg的组成
----VGG-Net的分析:这里有两个表格,其中第一个表格是描述的是VGGNet的诞生过程。为了解决初始化(权重初始化)等问题,VGG采用的是一种Pre-training的方式,这种方式在经典的神经网络中经常见得到,就是先训练一部分小网络,然后再确保这部分网络稳定之后,再在这基础上逐渐加深。表1从左到右体现的就是这个过程,并且当网络处于D阶段的时候,效果是最优的,因此D阶段的网络也就是最后的VGGNet啦!
----VGG的组成:
由表一D可以看出,VGG也是由卷积和全连接部分组成,在卷积部分,VGG采用的是展度为3的过滤器,卷积步长为1,2*2并且步长为2的MaxPooling。之后将卷积部分的结果传到全连接部分,全连接部分则是有3个全连接层以及一个SOFTMAX层构成。VGG的结果是很符合我们的经典深度神经网络的结构的。