tensorflow sigmoid 如何计算训练数据的正确率_【动手学计算机视觉】第十二讲：激活函数...

完整代码链接：aiLearnNotes

前言

激活函数不仅对于卷积神经网络非常重要，在传统机器学习中也具备着举足轻重的地位，是卷积神经网络模型中必不可少的一个单元，要理解激活函数，需要从2个方面进行讨论：

• 什么是激活函数？
• 为什么需要激活函数？

什么是激活函数？

对于神经网络，一层的输入通过加权求和之后输入到一个函数，被这个函数作用之后它的非线性性增强，这个作用的函数即是激活函数。

为什么需要激活函数？

试想一下，对于神经网络而言，如果没有激活函数，每一层对输入进行加权求和后输入到下一层，直到从第一层输入到最后一层一直采用的就是线性组合的方式，根据线性代数的知识可以得知，第一层的输入和最后一层的输出也是呈线性关系的，换句话说，这样的话无论中加了多少层都没有任何价值，这是第一点。

第二点是由于如果没有激活函数，输入和输出是呈线性关系的，但是现实中很多模型都是非线性的，通过引入激活函数可以增加模型的非线性，使得它更好的拟合非线性空间。

目前激活函数有很多，例如阶跃函数、逻辑函数、双曲正切函数、ReLU函数、Leaky ReLU函数、高斯函数、softmax函数等，虽然函数有很多，但是比较常用的主要就是逻辑函数和ReLU函数，在大多数卷积神经网络模型中都是采用这两种，当然也有部分会采用Leaky ReLU函数和双曲正切函数，本文就介绍一下这4个激活函数长什么样？有什么优缺点？在tensorflow中怎么使用？

Sigmoid

Sigmoid函数的方程式

绘图程序：

def 

Sigmoid函数就是前面所讲的逻辑函数，它的主要优点如下：

• 能够将函数压缩至区间[0, 1]之间，保证数据稳定，波动幅度小
• 容易求导

缺点：

• 函数在两端的饱和区梯度趋近于0，当反向传播时容易出现梯度消失或梯度爆炸
• 输出不是0均值(zero-centered)，这样会导致，如果输入为正，那么导数总为正，反向传播总往正方向更新，如果输入为负，那么导数总为负，反向传播总往负方向更新，收敛速度缓慢
• 对于幂运算和规模较大的网络运算量较大

双曲正切函数

双曲正切函数方程式：

绘图程序：

def 

可以看出，从图形上看双曲正切和Sigmoid函数非常类似，但是从纵坐标可以看出，Sigmoid被压缩在[0, 1]之间，而双曲正切函数在[-1, 1]之间，两者的不同之处在于，Sigmoid是非0均值(zero-centered)，而双曲是0均值的，它的相对于Sigmoid的优点就很明显了：

• 提高了训练效率

虽然双曲正切函数解决了Sigmoid函数非0均值的问题，但是它依然没有解决Sigmoid的两位两个问题，这也是tanh的缺点：

• 梯度消失和梯度爆炸
• 对于幂运算和规模较大的网络运算量较大

ReLU

ReLU函数方程式：

绘图程序：

def 

线性整流函数(Rectified Linear Unit，ReLU)，对比于Sigmoid函数和双曲正切函数的优点如下：

• 梯度不饱和，收敛速度快
• 减轻反向传播时梯度弥散的问题
• 由于不需要进行指数运算，因此运算速度快、复杂度低

虽然解决了Sigmoid和双曲正切函数的缺点，但是它也有明显的不足：

• 输出不是0均值(zero-centered)
• 对参数初始化和学习率非常敏感，设置不当容易造成神经元坏死现象，也就是有些神经元永远不会被激活(由于负部梯度永远为0造成)

Leaky ReLU

Leaky ReLU函数方程式：

绘图程序：

def 

为了解决ReLU函数神经元坏死现象，Leaky ReLU函数在输入为负是引入了一个(0, 1)之间的常数，使得输入为负时梯度不为0。虽然Leaky ReLU解决了ReLU的这个严重问题，但是它并不总是比ReLU函数效果好，在很多情况下ReLU函数的效果还是更胜一筹。

tensorflow激活函数使用

tensorflow中激活函数在tf.nn模块下，例如，

tf

其中relu、sigmoid、tanh函数的参数完全相同，leaky_relu多一个输入参数，就是斜率，默认值为0.2，以relu函数为例介绍一下tensorflow中激活函数的使用，

features 

tensorflow中激活函数输入有两个参数：

• features：输入的特征张量，也就是前一层池化层或者卷积层输出的结果，数据类型限制在float32, float64, int32, uint8, int16, int8, int64, float16, uint16, uint32, uint64
• name：运算的名称，这个可以自行命名

---

干货

最近，为了方便大家，我花费了半个月的时间把这几年来收集的各种技术干货整理到一起，其中内容包括但不限于Python、机器学习、深度学习、计算机视觉、推荐系统、Linux、工程化、Java，内容多达5T+，我把各个资源下载链接整理到一个文档内，目录如下：

所有干货送给大家，希望能够点赞支持一下！

https://pan.baidu.com/s/1eks7CUyjbWQ3A7O9cmYljA （提取码：0000）