感知器:一个多输入单输出的一个具有激活函数的神经元。
感知器网络:具有多个神经元(感知器)的网络。eg;bp神经网络中隐含层与输入层就是一种感知器网络。
bp神经网络:这个bp神经网络名字来源于中国人的翻译,实际上就是。前馈人工神经网络。bp也是反向传播算法,反向传播(bp)的缩写。
一般来说人工神经网络输出层,使用线性输出,那么计算中间隐含层的误差梯度就方便计算。普遍假设认为最后一层的输出的激活认为是线性的导数为1‘’(实际也有用sigmoid做归一输出,单计算依旧按照线性梯度的)。
反向传播算法:
对于一层网络权值的更新。从误差,更新从输出的误差计算梯度。结合输入的数值与学习率,得到局部梯度下的权值变化量。
深度神经网络:
一般来说如果激活函数使用的半线性的话。relu,那么每一层网络的公式计算就方便。那就之和当前层输出误差,梯度,输入,学习率。有关。
这就是深度网络引入半线性激活函数作用。
如果依旧引入sigmoid那么会导致计算复杂度过于复杂。不方便更新,而且计算速度大大下降。
实际上概念定义并非都是确定的。感知器的思想是对的(负反馈思想)。
那么反传误差大小,每层之间误差传递是可以看按照线性比例计算error,在利用激活函数计算权值变化量。实现更新权值。