tensroflow激活函数 tensorflow框架系列（二）

卷积神经网络CNN的结构一般包含这几个层：

输入层(input)：用于数据的输入。在CNN的输入层中，（图片）数据输入的格式 与 全连接神经网络的输入格式（一维向量）不太一样。CNN的输入层的输入格式保留了图片本身的结构。
卷积层(conv)：使用卷积核进行特征提取和特征映射。在卷积层中有几个重要的概念：
local receptive fields（感受视野）
shared weights（共享权值）
激励层(relu)：由于卷积也是一种线性运算，因此需要增加非线性映射
池化层(pole)：进行下采样，对特征图稀疏处理，减少数据运算量。当输入经过卷积层时，若感受视野比较小，布长stride比较小，得到的feature map （特征图）还是比较大，可以通过池化层来对每一个 feature map 进行降维操作，输出的深度还是不变的，依然为 feature map 的个数。
全连接层(FC)：通常在CNN的尾部进行重新拟合，减少特征信息的损失。全连接层主要对特征进行重新拟合，减少特征信息的丢失；输出层主要准备做好最后目标结果的输出。
输出层：用于输出结果。

这章着重介绍激励层（又叫激活函数）。如果每一个神经元输出都通过一个非线性函数，使其神经网络模型变为非线性，这个非线性函数就是激活函数。

常用的激活函数：

我们使用relu函数，接着用这张图说明问题：x1=0.7,x2=0.9

a12的公式应该错了。

参考：https://blog.csdn.net/yuelulu0629/article/details/79873990