神经网络是在感知器的基础上,将激活函数由阶跃函数替换成非线性函数。
神经网络添加多个隐层就是多层神经网络
常见非线性激活函数:
- sigmoid
在神经网络早期经常使用的函数
- tanh
- ReLU
在零点处不可导
非线性激活函数的好处:
在感知器里面,a,b,c在二维平面代表的是三条直线(输入数据时二维的情况下)
如果在将阶跃函数替换成非线性激活函数,a,b,c三条曲线将解空间进一步分割,可以训练出更好的解
神经网络是在感知器的基础上,将激活函数由阶跃函数替换成非线性函数。
神经网络添加多个隐层就是多层神经网络
常见非线性激活函数: