为什么要使用激活函数,激活函数的作用

目录

1.如果没有激活函数会怎么样？

2.所以需要对线性输出做非线变换

激活函数的作用:激活函数是用来加入非线性因素的，因为线性模型的表达能力不够。

3.常见的激活函数 

3.1.Sigmoid函数

3.2.tanh函数

3.3.Relu函数

 总结：

---

1.如果没有激活函数会怎么样？

1. 对于y=ax+b 这样的函数，当x的输入很大时，y的输出也是无限大小的，经过多层网络叠加后，值更加膨胀的没边了，这显然不符合我们的预期，很多情况下我们希望的输出是一个概率

2. 线性的表达能力太有限了，即使经过多层网络的叠加，y=ax+b无论叠加多少层最后仍然是线性的，增加网络的深度根本没有意义。线性回归连下面这个最简单的“异或”x1 XOR x2，都无法拟合：