典型卷积网络

本文介绍一些典型的深度卷积网络

model

model zoo in caffe,
caffe model zoo wiki

net	layer num	finetuned on	dataset image num
GoogLe Net	22	Extended Salient Object Subitizing dataset	11k
VGG Net	16	initial Salient Object Subitizing dataset	5500
ALexNet	-	initial Salient Object Subitizing dataset	5500

GoogLe Net

GoogLe Net refer,
paper
BVLC GoogleNet Model
inception modules

ALexNet

paper

Going deeper with convolution

该googlnet是一种神经网络结构“inception”，对于分类和检测ILSVRC14，主要特点该结构能够提高网络内部计算资源的利用率。如果想要实现上述效果，需要精心调整的设计，该涉及允许增加网络的深度和宽度，同时保持计算负担不变。为优化网络的质量，结构性决策给予hebbian 原则和多尺度的直觉。
在本网络中deep有两种含义：一是在构成‘inception moudle’中引入了一种新的level of organization，，另外就是网络的深度增加。
sliders

hebbian principle

Hebbian principle – neurons that fire together, wire together

- Cluster according activation statistics

‘inception moudle’开始是为了评估一种复杂的网络拓扑构建算法的假设输出，该算法目的是逼近一个稀疏结构，用于通过密集的完备的元素来覆盖输出假设的视觉网络。虽然只是来自一个猜想，但是效果不错。as said in the paper

Inception architecture was especially useful in the context of localization and object detection as the base network

RCNN

当前用于目标检测最好的方法是Region with Convolution Neural Network。RCNN分解整个检测问题为两个子问题，首先是用低级的线索例如颜色超像素一致性用来可能的目标提出in a category-agnostic fashion. 然后在对应位置上使用CNN分类器鉴别物体的种类。增加DNN的性能的方法是增加他们的数量，其中包括增加深度网络的宽度。这样的方法在已有大量的有标签的训练数据集时安全简单。但是同时也有一些缺点。
- 网络越大，网络的参数的数量越大，以为着过拟合的可能性变大，尤其是训练集的数量受限时。
- 一致的增大网络的大小会增加网络的计算资源。任何滤波器的数量的均匀的增加会导致计算的二次增长。因为计算资源总是有限的，因此有限的计算资源的分布是优于网路的增大。
解决这个问题的基本方式更换全连接网络为稀疏的连接网络，即使是卷积的内部。