打卡Datawhale31期Task03

前馈神经网络

神经元模型

M-P模型：美国神经生理学家沃伦·麦卡洛克( Warren McCulloch ) 和数学家沃尔特 ·皮茨(Walter Pitts )对生物神经元进行建模，首次提出了一种形式神经元模型M-P模型。

在M-P模型中，神经元接受其他n个神经元的输入信号
(0或1) ，这些信号经过权重加权并求和，将求和结果与阈值比较，然后经过激活函数处理，得到输出。

感知器：

单层感知器

Roseblatt提出了感知器，与M-P模型相比，感知器能够通过训练自动确定参数。
训练更新参数公式：
$$w_i\leftarrow w_i+\alpha (r-y)x$$
$$\theta \leftarrow \theta -\alpha (r-y)$$
调整权重的基本思路：

• 实际输出y与期望输出r相等时，w和 theta 不变
• 实际输出y与期望输出r不相等时，调整w和theta的值

【图片来源：Datawhale学习资料】
单层感知器无法解决异或问题，多层感知器来解决线性不可分问题。

多层感知器

多层感知器指的是由多层结构的感知器递阶组成的输入值向前传播的网络，也被称为前馈网络或正向传播网络。

以三层结构的多层感知器为例，它由输入层、中间层及输出层组成

与M-P模型相同，中间层的感知器通过权重与输入层的各单元相连接，通过阈值函数计算中间层各单元的输出值
中间层与输出层之间同样是通过权重相连接

BP算法

前向传播 + 误差反向传播
Datawhale前馈神经网络学习资料写的好清晰。

激活函数

• Sigmoid
• ReLu
• tanh

优化问题

难点：

• 参数过多，影响训练
• 非凸优化问题：存在局部最优，影响迭代
• 梯度消失问题，下层参数难调
• 参数解释困难
  

参考资料：Datawhale前馈神经网络