卷积神经网络笔记2

关于优化方向的探讨

性能准确度vs计算量速度

模型板数量大–数据量要大—数据各态历经性—更好的性能

算力的评价指标：FLOPs floating point operations per second
每秒浮点云运算次数，用于衡量计算机的算力和执行效能，尤其是在使用到大量浮点运算的科学计算领域中。

算力不支持：

1.卷积的计算量
2.MLP的计算量
准确度–在算力支持的前提下追求准确度

图像处理过程

img–（conv）—feature map—{pooling}—MLP—结果

缩小图片（Resize）

下采样（Down Sampleing）或称为降采样（downsampled），指缩小图像。其主要目是使得图像符合显示区域的大小，生成对应图像的缩略图。

池化（pooling）则是卷积神经网络中一个重要的概念，它是降采样的一种形式。它会压缩输入的特征图，一方面减少了特征，导致了参数减少，进而简化了卷积网络计算时的复杂度；另一方面保持了特征的某种不变性（旋转、平移、伸缩等）。

下采样和池化应该是包含关系，池化属于下采样，而下采样不局限于池化，如果卷积 stride=2，此时也可以把这种卷积叫做下采样。

充分发挥统一了特征提取和决策过程的好处

Multi-Layer Perceptron

由于网络得到了加速，可以Multi-layer
img–conv—pool—conv–pool–conv–MLP–outpure

多层神经元的实质就是对激活函数的缩放。偏置b会产生激活函数的水平轴移动，而权重w则会激活函数的倾斜程度做变换。

加速

前向计算很快 收敛速度是个问题（算力不是）
sigmoid–relu

加速办法：
1.pooling :前向计算加速
池化过程在一般卷积过程后。池化（pooling） 的本质，其实就是采样。Pooling 对于输入的 Feature Map，选择某种方式对其进行降维压缩，以加快运算速度。

2.sigmoid 后向传播加速
Sigmoid函数常被用作神经网络的激活函数，将变量映射到0,1之间。

节省时间，完成了CNN的一次优化

后续优化的方向：

a.前向计算部分
b.后向传播部分
前提：计算力不变的情况下
c算法提升，更大数据库，大力出奇迹

搭积木似的去实验
img—conv —other_layer----conv—new design lay–MLP–结果

LeNet-5:结构简单原始

参考文章 ：