上一篇介绍了感知器的内容,这篇主要介绍内容如下:神经网络与多层感知机的区别,基本的神经网络的激活函数。
神经网络
什么是神经网络?
大多数情况下,可以理解为是一回事。很多人在提到多层感知器的时候,其实是指现在的神经网络
严格的来说就是,多层感知器在每个感知器的输出后使用的函数为阶跃函数。
因为使用的是阶跃函数,把这种情况下的具有隐层的网络叫做多层感知器。在感知器的基础上,将阶跃函数替换成非线性函数(激活函数),就是神经网络。
![感知器](https://i-blog.csdnimg.cn/blog_migrate/d55f2c439b6ca4e264fcf7d7deda231e.png)
![](https://i-blog.csdnimg.cn/blog_migrate/e79c1cb4ca00439d8653e8c557fa965e.png)
感知器输出的三个步骤:将输入与权重对应相乘,并累加,然后将累加值输入到阶跃函数里面。
神经网络中出来把阶跃函数换成非线性函数,其他步骤与感知器相同。
激活函数
或许会更新更多的激活函数及其优缺点。
激活函数带来了什么?
为什么阶跃函数会被非线性函数的激活函数所替代呢?
阶跃函数的输出为0或1,例如下图中的单隐层感知器,可以形成一个开或闭的凸区域,在我们没有非线性激活函数的时候,只能是线性分割形成的区域。如果使用非线性激活函数,形成的区域就是由曲线组成,那么曲线组成的区域有什么优势呢?因为在日常生活中,需要我们解决的问题一般是非线性的。