temp

以CNN为例

• CNN 结构
• tensorflow代码实现alexnet分类
• keras代码vgg分类

主要结构

• 数据输入层/ Input layer
• 卷积计算层/ CONV layer
• ReLU激励层 / ReLU layer
• 池化层 / Pooling layer
• 全连接层 / FC layer
• Batch Normalization层(可能有)

relu

(Cifar-10的训练走向)

将神经元的输出f，作为其输入x的函数，对其建模的标准方法是用$f(x)=tanh(x)$ 或者 $f(x)=(1+exp(-x)) ^{-1}$。
梯度下降的训练时间而言，这些饱和非线性函数比不饱和非线性函数$f(x)=max(0,x)$要慢得多。
训练带ReLUs的深度卷积神经网络比带tanh单元的同等网络要快好几倍。如图所示.

参考

1. 人脸识别（face recognition）
   http://www.92to.com/bangong/2016/11-02/12212787.html
2. 人脸识别DNN技术浅析:https://sanwen8.cn/p/18bG5mq.html
3. rcnn：http://blog.csdn.net/column/details/ym-alanyannick.html
4. 阿尔法狗：http://news.mydrivers.com/1/474/474324.htm