为什么使用激活函数？

分段线性曲线

对于简单的线性模型,即y=b+wx,仅凭一条直线无法解决现实中很多问题的，所以要引入分段线性曲线，例如下图

从图中可以观察到红色线条（分段线性曲线）作为真实情况是无法用类似一条蓝色线条来描述的，同时我们可以看到不同的w影响的是斜率，不同的b影响的是截距

如何表示分段线性曲线呢？

其实红色线条作为真实曲线，利用模型训练很难训练出完全重合的模型参数，仅仅可以无限贴近，那么如何去无限贴近呢？

第一种方法，借助多个hard sigmoid函数进行组合成红色曲线

这里hard sigmoid函数很难描述，所以我们常把他近似为sigmoid函数

第二种方法，借助Relu激活函数，两个Relu激活函数可以合起来一个hard sigmoid函数

其实Relu,和Sigmoid都是常用的激活函数

激活函数的使用

第一种，平行使用多个激活函数，进一步构造较为复杂的函数，来解决复杂问题

第二种，嵌套使用，其实一个激活函数的结果可以作为激活函数的输入

这也是为什么我们平时看见的神经网络是多层的原因，其实归根到底，一个完整的网络激活函数的使用采用的是这两种方式

Sigmoid 或 ReLU 称为神经元（neuron），很多的神经元称为神经网络 （neural network）。人脑中就是有很多神经元，很多神经元串起来就是一个神经网络，跟人 脑是一样的。人工智能就是在模拟人脑。神经网络不是新的技术，80、90 年代就已经用过了， 后来为了要重振神经网络的雄风，所以需要新的名字。每一排称为一层，称为隐藏层（hidden layer），很多的隐藏层就“深”，这套技术称为深度学习。

机器学习框架