CNN
在普通的全连接网络或CNN中,每层神经元的信号只能向上一层传播,样本的处理在各个时刻独立,因此又被成为前向神经网络(Feed-forward Neural Networks)。
后来查到CNN是受语音信号处理中时延神经网络(TDNN)影响而发明的,TDNN通过在时间维度上共享权值,方便学习。
CNN的有三个重要的思想架构
1)局部区域感知;
2)权重共享;
3)空间或时间上的采样
CNN与标准BP的不同
卷积神经网络是在BP神经网络的改进,与BP类似,都采用了前向传播计算输出值,反向传播调整权重和偏置;
CNN与标准的BP最大的不同是:CNN中相邻层之间的神经单元并不是全连接,而是部分连接,也就是某个神经单元的感知区域来自于上层的部分神经单元,而不是像BP那样与所有的神经单元相连接。