饱和非线性、非饱和非线性

论文AlexNet中提到饱和非线性、非饱和非线性神经元

1、先说一下线性和和非线性
线性linear，指量与量之间按比例、成直线的关系，在数学上可以理解为一阶导数为常数的函数；

非线性non-linear，指不按比例、不成直线的关系，一阶导数不为常数。

线性的可以认为是1次曲线，比如y=ax+b ,即成一条直线。

非线性的可以认为是2次以上的曲线，比如y=ax²+bx+c，即不为直线的即可。

参考：
https://zhidao.baidu.com/question/710966855200385565.html

https://www.zhihu.com/question/293327883/answer/486551119

2.再说一下饱和非线性、非饱和非线性

饱和非线性
饱和的激活函数会将输出结果缩放到有限的区间：
sigmoid激活函数的范围是[0, 1]，所以它是饱和的

tanh激活函数的范围是[-1,1]，所以它是饱和的。

非饱和非线性
非饱和的激活函数会将输出结果缩放到无穷区间
对于ReLU激活函数f(x) = max(0, x)，当x趋于正无穷则f(x)也趋于正无穷。所以该函数是非饱和的。

参考：
https://blog.csdn.net/qq_38410428/article/details/100554171
https://www.zhihu.com/question/58648102

3.扩展资料
复习一下什么是齐次和非齐次方程
齐次线性方程组的常数项全部为零，
非齐次方程组的常数项不全为零。

齐次线性方程组表达式 ：Ax=0；
非齐次方程组程度常数项不全为零： Ax=b。

两者的区别是：
1.常数项不同
2.表达式不同

参考:
https://zhidao.baidu.com/question/1639799988885104820.html