深度学习（持续更新）之（三）神经网络

上一篇介绍了感知器的内容，这篇主要介绍内容如下：神经网络与多层感知机的区别，基本的神经网络的激活函数。

神经网络

什么是神经网络？

大多数情况下，可以理解为是一回事。很多人在提到多层感知器的时候，其实是指现在的神经网络

严格的来说就是，多层感知器在每个感知器的输出后使用的函数为阶跃函数。

因为使用的是阶跃函数，把这种情况下的具有隐层的网络叫做多层感知器。在感知器的基础上，将阶跃函数替换成非线性函数（激活函数），就是神经网络。

感知器中的为阶跃函数

将感知器中的阶跃函数变成非线性函数

感知器输出的三个步骤：将输入与权重对应相乘，并累加，然后将累加值输入到阶跃函数里面。

神经网络中出来把阶跃函数换成非线性函数，其他步骤与感知器相同。

激活函数

或许会更新更多的激活函数及其优缺点。

激活函数带来了什么？

为什么阶跃函数会被非线性函数的激活函数所替代呢？

阶跃函数的输出为0或1，例如下图中的单隐层感知器，可以形成一个开或闭的凸区域，在我们没有非线性激活函数的时候，只能是线性分割形成的区域。如果使用非线性激活函数，形成的区域就是由曲线组成，那么曲线组成的区域有什么优势呢？因为在日常生活中，需要我们解决的问题一般是非线性的。