最简单的深度网络成为多层感知机。由多层神经元组成,每一层与他的上一层相连,从中接收输入,同事也与他的下一层相连,影响当前层的神经元。
感知机是一个二分类模型。
σ是激活函数。
不能拟合XOR函数,导致AI的第一次寒冬。
就是说感知机只能产生一条线来进行分割,一条线不能同时使上图中红绿色的点正确分类。
关于XOR函数:
隐藏层:
加入隐藏层克服线性模型的限制,使其可以处理更加普遍的函数关系类型。
一个单隐藏层的多层感知机:
三种常用的激活函数 :
总结一下就是,多层感知机在输出层和输入层之间增加一个或多个全连接隐藏层,并通过激活函数转换隐藏层的输出。常用的激活函数有 ReLU函数,sigmoid函数,tanh函数。