感知机到神经元

感知机的表达式：

 式3的图像表达：

设,将特定的函数换为更广范的函数。

变换后的结果：

 很容易推广到n个输入的情况：

 

h是所有信号的总和，f(h)是信号总和转换为输出信号的函数，这种函数一般称为激活函数。

至此感知机进化到了神经元。感知机与神经元之间只有激活函数不同。感知机是神经元的一个特例。

由于激活函数的不同，神经元的输出y可以是离散型，也可以是连续型。

常用的激活函数有：

阶跃函数（感知机使用的激活函数）：

Sigmoid函数：

 ReLU函数：

 Leaky ReLU函数