PYTORCH学习之路（15）丢弃法

虞雉

已于 2023-03-26 16:14:47 修改

阅读量34

点赞数

文章标签：学习深度学习 pytorch

于 2023-03-26 16:09:11 首次发布

本文链接：https://blog.csdn.net/qq_43938799/article/details/129780416

版权

原输入
$X$	$0$	$1$
$P$	$0$	$1$

原始的数据期望为 $E(X)=1\times1+0\times 0=1$

使用丢弃法之后
$X$	$0$	$1$
$P$	$p$	$1-p$

使用丢弃法之后的期望 $E(X)=1\times (1-p)=1-p$

要使得输出的期望保持为1，则令 $Y=\frac{X}{1-p}$

于是

输出
$Y$	$0$	$\frac{1}{1-p}$
$P$	$p$	$1-p$

输出期望为 $E(Y)=\frac{1}{1-p}\times (1-p)=1$

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

虞雉

关注关注

0
点赞
踩
1

收藏

觉得还不错? 一键收藏
0
评论
复制链接

分享到 QQ

分享到新浪微博

扫一扫

动手学深度学习V2.0(Pytorch)——13.丢弃法

Castlehe的博客

10-29

369

丢弃法，dropout https://www.bilibili.com/video/BV1Y5411c7aY?p=1 1. 课件讲解对人来说，给你看一只猫的正面，反面，侧面，闭眼，睁眼各种状态的图片，都可以认出来这是一只猫。也就是说，我们希望模型对输入数据具有比较好的鲁棒性（robust to noises）使用有噪音的数据等价于Tikhonov正则 ...

深度学习PyTorch | 总结

01-20

丢弃法（Dropout）是另一种缓解过拟合的技术，它随机丢弃神经网络层的部分节点，使得模型不会过度依赖于单一特征，从而提高泛化能力。梯度消失和梯度爆炸是深度学习中训练神经网络时遇到的挑战。梯度消失可能导致...

参与评论您还未登录，请先登录后发表或查看评论

Dropout 丢弃法动手学深度学习v2 pytorch

AI架构师易筋

04-02

714

1. Dropout 丢弃法定义 Dropout 只有在Traning的时候用，因为dropout类似于正则的作用。常用在多层感知机的隐藏层上。在predict的时候，是不需要的，因为predict是一个稳定的结果。 2. Dropout 从零开始实现矩阵做乘法，效率高 2. 简洁实现 pytorch 参考 https://www.bilibili.com/video/BV1Y5411c7aY?p=1 ...

Pytorch与drop_out(丢弃法)

phacpf123

07-18

525

dropout

[pytorch、学习] - 3.13 丢弃法

栗子好好吃的博客

07-07

227

参考 3.13 丢弃法过拟合问题的另一种解决办法是丢弃法。当对隐藏层使用丢弃法时,隐藏单元有一定概率被丢弃。 3.12.1 方法 3.13.2 从零开始实现 import torch import torch.nn as nn import numpy as np import sys sys.path.append("..") import d2lzh_pytorch as d2l def dropout(X, drop_prob): X = X.float() assert 0

PyTorch——Dropout（丢弃法）

beilizhang的博客

03-06

1305

参考链接 https://tangshusen.me/Dive-into-DL-PyTorch/#/chapter03_DL-basics/3.13_dropout dropout 深度学习模型常常使用丢弃法（dropout）来应对过拟合问题。丢弃法有一些不同的变体。常用的是倒置丢弃法（inverted dropout）。设某隐藏层为hhh，第iii个隐藏单元为hih_{i}hi。当对该隐藏层使用丢弃法时，该层的隐藏单元将有一定概率被丢弃掉。设丢弃概率为ppp，那么有ppp的概率hih_{i}hi

【动手学深度学习PyTorch版】7 丢弃法

水w的博客

10-24

649

丢弃法

丢弃法Dropout(Pytorch)

不想随波逐流的大学生一枚，我们每个人都在努力奔跑

06-30

1363

介绍了dropout（丢弃法），以及PyTorch的从零实现和调API实现

[动手学深度学习(PyTorch)]——丢弃法Dropout

weixin_42067873的博客

03-16

2703

正则化通过为模型损失函数添加惩罚项使得学出的模型参数值较小，是应对过拟合常用手段丢弃法（Dropout）是一种在学习的过程中随机删除神经元的方法。训练时随机选出隐藏层的神经元，然后将其删除。被删除的神经元不再进行信号的传递。有效抑制过拟合的一种正则化手段通常作用再隐藏全连接层的输出上训练时，每传递一次信号，就会随机选择要删除的神经元（丢弃法将一些输出项随机置为0来控制模型的复杂度）测试时，虽然会传递所有的神经元信号，但是对于各个神经元的输出，要乘上训练时的删除比例后再输出丢弃概率是.

pytorch学习路程

2301_81533581的博客

01-31

561

本文为pytorch学习而作（2024.1.28）

d2l-zh pytorch版深度学习.pdf

04-19

- 权重衰减和丢弃法：学习权重衰减的方法、高维线性回归实验以及丢弃法的实现。 - 正向传播、反向传播和计算图：介绍正向传播、正向传播的计算图、反向传播和深度学习模型的训练。 - 数值稳定性和模型初始化：...

动手学深度学习pytorch第二阶段

01-06

丢弃法。梯度消失、梯度爆炸随机初始化模型参数模型复杂度下图是模型复杂度 LeNet 为了使读者更加形象的看到数据，添加额外的部分来展示数据的图像 import matplotlib.pyplot as plt def show_fashion_mnist...

shader 案例学习笔记之将坐标系分成4个象限

localhost

09-13

215

坐标系被分成了4个单元格，每个单元格都有唯一的索引，后续就可以根据索引去渲染。

看Threejs好玩示例，学习创新与技术(二)

htsitr2的专栏

09-14

486

它的主要特点是确保生成的点之间保持一定的最小距离，从而避免点的聚集。这种方法在计算机图形学、游戏开发、物理模拟等领域中非常有用，尤其是在需要生成自然分布的对象（如树木、石头等）时。如果不进行裁剪，那么效果如下（初步的锯齿感是因为矩形内采样的结果）。为啥这么复杂呢，为啥不开始存储每个方块的UV呢？下面代码的vTexCoords（=savedModelMatrix，已修改）记录方块所在的位置，vWorldPosition表示方块中像素的偏移。在上面那副图中，聪明的你一定初步猜到了每个方块的纹理是怎么得到的。

Spring Framework 学习总结博客

2302_80084329的博客

09-13

1018

通过本文的学习，我们从Spring的核心架构入手，逐步理解了IoC和DI的概念，并通过代码示例掌握了如何在实际项目中使用这些技术。Spring通过IoC容器管理bean，依赖注入将bean之间的关系解耦，大大简化了复杂系统的开发过程。这些基本的Spring知识是理解其高级特性（如AOP、事务管理）的基础，掌握这些概念后，我们可以更加自如地使用Spring构建复杂的企业级应用。

计算几何学习

网安小白

09-12

452

学习计算几何过程中对经典算法的记录

【学习笔记】SSL密码套件之哈希

Taki_UP的博客

09-12

1190

本篇介绍了TLS/SSL密码套件中常用的哈希算法，包括Poly1305、SHA384、SHA256、SHA、MD5

关于HarmonyOS的学习