多层神经网络

《python machine learning 》chapter 12 Implementing a Multilayer Artificial Neural Network from Scratch

【主要内容】

（1）总体理解多层神经网络

（2）从头开始实施神经网络训练的基本反向传播算法

（3）训练基本的神经网络用语图像分类

【单层神经网络概要】

ADAptive LInear NEuron (Adaline): https://blog.csdn.net/Amy_mm/article/details/79668201

【多层神经网络体系结构】

完全连接的网络也叫做多层感知机 ——Multilayer Perceptron (MLP)

上图为一个三层MLP,包括输入层，隐藏层，输出层。当隐藏层多于一层时，也叫做深层神经网络deep artificial neural

network.——DNN.

如上图所示，我们将网络中第L层的第i单元的激活函数写作,为了是代码以及数学公式看起来更加直观，用上标in,h,out分别代表输入层，隐藏层以及输出层。,  即代表偏置值，设为1.

输入层的激活函数为：