2.3:多卷积核:如果是100个参数,表明只有1个10*10的卷积核,特征提取不充分,可以添加逗哥卷积核,比如32个,学习到32个特征,不同的卷积核将图像生成不同的图像
由4个通道卷积得到2个通道的过程中,参数的数目为4×2×2×2个,其中4表示4个通道,第一个2表示生成2个通道,最后的2×2表示卷积核大小。
可以具体理解为:到两个通道,每个通道一个卷积核,原始的为四个通道,对应的卷积每个通道选择的卷积核不一样就是4*2*2,相乘完后相加然后累加,得到一副图像,然后第二个通道又一组新的参数。
Down-pooling
例如:对于一个 96X96 像素的图像,假设我们已经学习得到了400个定义在8X8输入上的特征.
8x8类似于做了一个卷积,得到的维数为:(96-8+1),每一个特征有一幅图像,所以每个样例 (example) 都会得到一个 7921 × 400 = 3,168,400 维的卷积特征向量
最大池化和平均池化
例如,人们可以计算图像一个区域上的某个特定特征的平均值 (或最大值)。这些概要统计特征不仅具有低得多的维度 (相比使用所有提取得到的特征),同时还会改善结果(不容易过拟合)。这种聚合的操作就叫做池化 (pooling),有时也称为平均池化或者最大池化 (取决于计算池化的方法)
2.5:多层卷积
数据并行和模型并行
并行结构分为数据并行与模型并行。数据并行是指在不同的GPU上,模型结构相同,但将训练数据进行切分,分别训练得到不同的模型,然后再将模型进行融合。而模型并行则是,将若干层的模型参数进行切分,不同的GPU上使用相同的数据进行训练,得到的结果直接连接作为下一层的输入。
全连接层
全连接层,即用非线性的函数:sigmoid函数或者双曲正切函数
由4个通道卷积得到2个通道的过程中,参数的数目为4×2×2×2个,其中4表示4个通道,第一个2表示生成2个通道,最后的2×2表示卷积核大小。
可以具体理解为:到两个通道,每个通道一个卷积核,原始的为四个通道,对应的卷积每个通道选择的卷积核不一样就是4*2*2,相乘完后相加然后累加,得到一副图像,然后第二个通道又一组新的参数。
Down-pooling
例如:对于一个 96X96 像素的图像,假设我们已经学习得到了400个定义在8X8输入上的特征.
8x8类似于做了一个卷积,得到的维数为:(96-8+1),每一个特征有一幅图像,所以每个样例 (example) 都会得到一个 7921 × 400 = 3,168,400 维的卷积特征向量
最大池化和平均池化
例如,人们可以计算图像一个区域上的某个特定特征的平均值 (或最大值)。这些概要统计特征不仅具有低得多的维度 (相比使用所有提取得到的特征),同时还会改善结果(不容易过拟合)。这种聚合的操作就叫做池化 (pooling),有时也称为平均池化或者最大池化 (取决于计算池化的方法)
2.5:多层卷积
数据并行和模型并行
并行结构分为数据并行与模型并行。数据并行是指在不同的GPU上,模型结构相同,但将训练数据进行切分,分别训练得到不同的模型,然后再将模型进行融合。而模型并行则是,将若干层的模型参数进行切分,不同的GPU上使用相同的数据进行训练,得到的结果直接连接作为下一层的输入。
全连接层
全连接层,即用非线性的函数:sigmoid函数或者双曲正切函数
参考:
http://write.blog.csdn.net/postedit
https://zhuanlan.zhihu.com/p/21525237