【深度学习】Drop out

最新推荐文章于 2023-12-24 23:54:37 发布

maershii

最新推荐文章于 2023-12-24 23:54:37 发布

阅读量1.9w

点赞数 1

分类专栏：深度学习

版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文链接：https://blog.csdn.net/u013166817/article/details/83818122

版权

Dropout是一种有效的防止神经网络过拟合的方法，通过在训练过程中以一定概率p随机忽略部分神经元，降低了网络的复杂度。在测试阶段，所有神经元都参与计算，为保持一致性，可以通过调整权重来平衡训练与测试阶段的影响。通常，dropout的概率p取值为0.5。

摘要由CSDN通过智能技术生成

来源：Dropout: A Simple Way to Prevent Neural Networks from Overfitting

1. 原理

在每个训练批次的前向传播中，以概率p保留部分神经元。目的是：简化神经网络的复杂度，降低过拟合风险。

$\small \\Z_{l+1} = W\cdot A_{l} + b \\A_{l+1} = f(Z_{l+1}) \\\Rightarrow \\r_{l} \sim Bernoulli(p) \\ \~A_{l} = r_{l} * A_{l} \\Z_{l+1} = W\cdot \~A_{l} + b \\A_{l+1} = f(Z_{l+1})$

根据保留概率p计算一个概率向量r（[1,0,1,0,0,1,1....]）, 然后保留部分节点。

2. 注意点

因为dropout一般只使用在训练时，而测试时所有的神经元都会保留。为了使训练和测试时对应，可以有以下两种方法：

1）测试时：在每个神经元对应的权重w需乘以p，即

最低0.47元/天解锁文章

关注

1
点赞
踩
16

收藏

觉得还不错? 一键收藏
0
评论
复制链接

分享到 QQ

分享到新浪微博

扫一扫

专栏目录

maershii CSDN认证博客专家 CSDN认证企业博客

码龄11年

39: 原创

19万+: 周排名

157万+: 总排名

13万+: 访问

: 等级

1432: 积分

25: 粉丝

56: 获赞

10: 评论

406: 收藏

私信

关注

热门文章

分类专栏

python 1篇
lintcode 1篇
github 1篇
软件安装与使用 1篇
机器学习 10篇
leetcode 21篇
深度学习 3篇
NLP 2篇

最新评论

【leetcode】输出一个数的所有质数因子
【浅滩】: [code=csharp] #define _CRT_SECURE_NO_WARNINGS 1 #include <stdio.h> int main() { int a, b; b = 2; //输入你要计算的值 scanf("%d", &a); //判断大于1,1没有质因数 while (a>1) { //判断b是否是a的因数，是就进入循环，否就判断下一个自然数 if (a % b == 0) { //将值分解成质数相乘的式子如：12 = 2*2*3 //将确定是因数的值不断循环除尽然后输出 //偶数中只有2是质数，且是所有数中最小的质数 while (a % b == 0) { //循环将确定是因数的值不断除尽 a = a / b; } //输出确定的因数 printf("%d\n", b); } else { //判断不是因数，就跳过判断下一个 b++; } } return 0; } [/code]
【机器学习】朴素贝叶斯基本介绍+代码实现
qq_40902046: 上面的正则表达式写错了吧
【机器学习】线性回归+代码实现
wangkai12123: 想要数据集
【leetcode】输出一个数的所有质数因子
飞鱼9372: 判断n%i == 0以后没有给n重新赋值，造成while死循环[code=python] def findPrime(n): if n <= 1: return i = 2 res = [] while n > 1: if n%i == 0: n = n/i res.append(i) else: i+=1 return res [/code]
【机器学习】线性回归+代码实现
qq_44686396: 找不到你的feliname文件

最新文章

目录

评论

被折叠的条评论为什么被折叠?

到【灌水乐园】发言

查看更多评论

添加红包

成就一亿技术人!

hope_wisdom

发出的红包

实付元

使用余额支付

点击重新获取

扫码支付

钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。