卷积神经网络总结

2.3:多卷积核：如果是100个参数，表明只有1个10*10的卷积核，特征提取不充分，可以添加逗哥卷积核，比如32个，学习到32个特征，不同的卷积核将图像生成不同的图像
由4个通道卷积得到2个通道的过程中，参数的数目为4×2×2×2个，其中4表示4个通道，第一个2表示生成2个通道，最后的2×2表示卷积核大小。
可以具体理解为：到两个通道，每个通道一个卷积核，原始的为四个通道，对应的卷积每个通道选择的卷积核不一样就是4*2*2,相乘完后相加然后累加，得到一副图像，然后第二个通道又一组新的参数。

Down-pooling
例如：对于一个 96X96 像素的图像，假设我们已经学习得到了400个定义在8X8输入上的特征.
8x8类似于做了一个卷积，得到的维数为：(96-8+1),每一个特征有一幅图像，所以每个样例 (example) 都会得到一个 7921 × 400 = 3,168,400 维的卷积特征向量
最大池化和平均池化
例如，人们可以计算图像一个区域上的某个特定特征的平均值 (或最大值)。这些概要统计特征不仅具有低得多的维度 (相比使用所有提取得到的特征)，同时还会改善结果(不容易过拟合)。这种聚合的操作就叫做池化 (pooling)，有时也称为平均池化或者最大池化 (取决于计算池化的方法)

2.5：多层卷积

数据并行和模型并行
并行结构分为数据并行与模型并行。数据并行是指在不同的GPU上，模型结构相同，但将训练数据进行切分，分别训练得到不同的模型，然后再将模型进行融合。而模型并行则是，将若干层的模型参数进行切分，不同的GPU上使用相同的数据进行训练，得到的结果直接连接作为下一层的输入。

全连接层
全连接层，即用非线性的函数：sigmoid函数或者双曲正切函数

参考：

http://write.blog.csdn.net/postedit

https://zhuanlan.zhihu.com/p/21525237