M-P 神经元模型
神经元接受数据,根据各自权重输入进激活函数,输出值与阈值比较后,得出结果作为该神经元的输出结果
![在这里插入图片描述](https://img-blog.csdnimg.cn/6a372f8386d84440b2f65bfe916fab61.png)
激活函数
![在这里插入图片描述](https://img-blog.csdnimg.cn/ef5174969e10467b99587db4cd11dcbd.png)
多层前馈网络
多层网络:包括隐层的网络
前馈网络:神经元之间不存在同层连接也不存在跨层连接
隐层和输出层神经元亦称“功能单元”
![在这里插入图片描述](https://img-blog.csdnimg.cn/655a44c969e2494e99b1d326a5e58208.png)
万有逼近性
仅需一个包含足够多神经元的隐层,多层前馈神经网络就能以任意精度逼近任意复杂度的连续函数
但是,设置隐层神经元数是未决问题,实际常用试错法
BP算法推导
![在这里插入图片描述](https://img-blog.csdnimg.cn/1cd7f373bfd44a9fb04dadc47b83b8a3.png)
![在这里插入图片描述](https://img-blog.csdnimg.cn/b0c746fdeefd4fe981c2c79ab4beba91.png)
![在这里插入图片描述](https://img-blog.csdnimg.cn/c0cfe3dd7e5f4b85a11731a64ba788ab.png)
缓解过拟合
早停
- 训练误差连续a轮的变化小于b,停止训练
- 使用验证集,若训练误差降低,验证误差升高,则停止训练
正则化
误差目标函数中增加描述网络复杂度
![在这里插入图片描述](https://img-blog.csdnimg.cn/55ed7f2a99d446e28965df85a4652f3c.png)