模式识别-神经网络-知识总结与作业(python版)

神经网络(多层感知器)原理

神经网络（neural network）也即多层感知器 multi-layer-perceptron(MLP)指的是通过构造不同结构神经元结构进行前向传播并根据任务设计一定的损失函数进行反向传播，最终获得的模型

预备知识

神经元：

$$O_j=f(\sum _i^n{\omega }_j{x}_j+b)$$
其中f为激活函数，$w_j$为第j个输入对应的权重，b为偏置

激活函数 activate function：
激活函数的作用简单概括为：非线性化。从神经元的结构特点可以看到，神经元的输出是将输入和偏置进行线性组合，如果不进行非线性化处理，则不论多么复杂的神经网络的效果都是$y=w^{T}x$，因此需要对每一个神经元节点进行非线性化处理，而这种处理用到的即为激活函数。常见的激活函数包括以下：
sigmoid函数
$$y=$$