Python学习笔记第二十七天

这篇博客探讨了反向传播在神经网络中的应用,详细介绍了如何计算输出层和隐藏层的误差,并进行权重更新以优化模型。此外,还讨论了过度拟合问题,提出Dropout作为解决方案来提升测试集上的性能。同时,提到了Adma优化算法以及正则化技术在防止过拟合中的作用。
摘要由CSDN通过智能技术生成

Backpropagation反向传播

Gradient descent梯度下降

反向传播的实现细节如下:

https://i-blog.csdnimg.cn/blog_migrate/1733fceaceadda9be99fe51e9c5a8fbd.png

  1. 计算输出层各个节点的误差

https://i-blog.csdnimg.cn/blog_migrate/966b67ce9ce5460892a176ca706594ce.png

  1. 更新输出层的权重。

https://i-blog.csdnimg.cn/blog_migrate/7344f69f9a06d6e217c607c2eeda8079.png

  1. 将输出层的误差传递给隐藏层

https://i-blog.csdnimg.cn/blog_migrate/be514ffee30077daca0e7aad27904822.png

4.更新隐藏层的权重

https://i-blog.csdnimg.cn/blog_migrate/9f3b0aa71d0651be9c2c2f234e90ac74.png

Overfiting 训练集上效果好 测试集上效果不好

Dropout方法提测试集效果,暂时丢弃一些来解决过拟合问题。

Adma

Regularization

Regularization:在现有Features不变情况下,降低部分不重要Features的影响力。这个方法有助于有很多Features且每个Features都有贡献的Neural Network避免Overfitting。

效果不显著

Modularization

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值