Datawhale X 李宏毅苹果书AI夏令营 深度学习入门 Task2 学习笔记

于task2中，本章介绍了用分段线性函数Hard Sigmoid函数对Sigmoid函数的近似拟合。

对于想更好的理解Sigmoid函数，查询了关于该函数的基本表达式，优缺点。

1. Sigmoid函数

Sigmoid函数能将任何输入值 𝑥 映射为 0 和 1 之间的值，因此适用于概率估计和二元分类任务。

函数表达式

优缺点

优点

1. 输出范围介于 0 和 1 之间，这对输出值的标准化非常有用，尤其是在概率解释方面。

2. Sigmoid函数是单调函数

缺点

1. 对于较大的正或负输入，Sigmoid 函数的梯度会变得非常小。这将减慢学习速度，因为反向传播误差变得太小，无法对权重进行有意义的更新。

2. Sigmoid 函数涉及指数计算，计算成本较高，尤其是对于大型神经网络而言。

2. Hard Sigmoid函数

Hard Sigmoid函数通过使用线性分段而不是指数函数来提供更快、更简单的近似值。

函数表达式

优缺点

优点

1. Hard Sigmoid 函数避免了昂贵的指数计算，因此计算速度更快

2. 由于它是分段线性函数，梯度不会像Sigmoid函数那样急剧减小。

3. Hard Sigmoid函数在实时系统或大型网络中效率更高

缺点

1. 逼近精度较低

2. 当输入超出线性区域（即输入非常正或非常负）时，仍会出现梯度消失问题。

表格总结

下列表格是简述两个函数的区别：

函数类型	Sigmoid	Hard Sigmoid
计算	由于涉及指数运算，因此成本较高	快速
梯度消失问题	存在梯度消失的问题	不易出现梯度消失现象
函数范围	(0,1)	(0,1)
使用场景	适用于精确概率建模	适用于实时系统
学习效率	较慢	较快
概率精度	高	相对低