学习笔记TF014:卷积层、激活函数、池化层、归一化层、高级层

CNN神经网络架构至少包含一个卷积层 (tf.nn.conv2d)。单层CNN检测边缘。图像识别分类，使用不同层类型支持卷积层，减少过拟合，加速训练过程，降低内存占用率。

TensorFlow加速所有不同类弄卷积层卷积运算。tf.nn.depthwise_conv2d，一个卷积层输出边接到另一个卷积层输入，创建遵循Inception架构网络 Rethinking the Inception Architecture for Computer Vision
https://arxiv.org/abs/1512.00567 。tf.nn.separable_conv2d，规模较大模型不牺牲准确率加速训练，规模小模型快速收敛但准确率低。tf.nn.conv2d_transpos，卷积核用于新特征图，每部分填充卷积核相同值，卷积核遍历新图像，重叠部分相加。斯坦福大学课程CS231n Winter 2016:Lecture 13。

激活函数与其他层输出生成特征图，对某些运算结果平滑(微分)，为神经网络引入非线性(输入输出曲线关系)，刻画输入复杂变化，训练复杂模型。激活函数主要因素，单调，输出随输入增长，可用梯度下降法找局部极值点；可微分，定义域内任意一点有导数，输出可用梯度下降法。
tf.nn.relu，修正线性单元，斜坡函数。分段线性，输入非负输出相同，输入为负输出为0。不受“梯度消失”影响，取值范围[0, +∞]。较大学习速率时，易受饱和神经元影响。损失信息但性能突出。输入秩1张量(向量)，小于0置0，其余分量不变。
tf.sigmoid，