Dropout 和 keep_prob

于 2021-12-01 11:54:44 发布
阅读量3k 收藏
点赞数
分类专栏： 自己踩过的坑 文章标签： python pandas 数据分析
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Amanda63/article/details/121652307
版权

tensorflow.keras.layers.Dropout(dropout_rate)(x)
tf.layers.dropout(outputs, rate=dropout_rate)

但是：

tf.nn.dropout(
 
    x,
 
    keep_prob,
    
    noise_shape=None,
 
     seed=None,
 
    name=None
 
)

keep_prob=1-dropout_rate

Amanda63
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
2020-5-22 吴恩达-改善深层NN-w1 深度学习的实用层面(1.7 理解 Dropout--压缩权重/分层设置keep-prob)
weixin_42555985的博客
06-22 662
1.视频网站：mooc慕课https://mooc.study.163.com/university/deeplearning_ai#/c 2.详细笔记网站(中文)：http://www.ai-start.com/dl2017/ 3.github课件+作业+答案：https://github.com/stormstone/deeplearning.ai 1.7 理解 Dropout Why does drop out work?1.单个神经元实施Dropout2.NN实施Dropout3.两个使用Dropo
深度学习框架tensorflow学习与应用6（防止过拟合dropout，keep_prob =tf.placeholder(tf.float32)）
qq_37791134的博客
12-02 5367
import tensorflow as tf from tensorflow.examples.tutorials.mnist import input_data # In[3]: # 载入数据集 mnist = input_data.read_data_sets("MNIST_data", one_hot=True) # 每个批次的大小 batch_size = 100 # 计算一共有...
dropout 关于keep_prob
sinat_28375239的博客
02-18 3833
dropout 关于keep_prob 在rnn网络中，keep_prob有三种形式： input_keep_prob=1.0：输入keep 概率，如果是常数且为1，则不增加输入退出。 output_keep_prob=1.0：输出keep 概率;如果是常数和1，则不增加输出差值。 state_keep_prob=1.0：输出keep 概率;如果是常数和1，则不增加输出差值。 在tf.nn.dropout(input, keep_prob)中，见源码： try: keep
dropout_keep_prob
qq_36273293的博客
10-17 1万+
测试时 dropout_keep_prob一般都设置为1，也就是保留全部结果 也就是说 dropout_keep_prob只在训练的时候有用
dropout keep_prob参数
weixin_30877227的博客
11-22 4582
import tensorflow as tffrom tensorflow.examples.tutorials.mnist import input_data# 载入数据集mnist = input_data.read_data_sets("MNIST_data", one_hot=True)# 每个批次的大小batch_size = 100# 计算一共有多少个批次n_batch =...
dropout法中为什么要除以keep_prob?
qbyqby7628的博客
12-08 1931
参考：https://www.imooc.com/article/30129 吴恩达在课里讲的是为了保证神经元输出激活值的期望值与不使用dropout时一致，我们结合概率论的知识来具体看一下：假设一个神经元的输出激活值为a，在不使用dropout的情况下，其输出期望值为a，如果使用了dropout，神经元就可能有保留和关闭两种状态，把它看作一个离散型随机变量，它就符合概率论中的0-1分布，其输出激...
TypeError: dropout_v2() got an unexpected keyword argument 'keep_prob'
05-30
这个错误是因为 TensorFlow 2.x 中的 `dropout` 函数已经不再使用 `keep_prob` 参数了，而是使用 `rate` 参数来指定 dropout 的比率。 如果你正在使用 TensorFlow 1.x 的代码，你需要将 `keep_prob` 参数替换为 `...
def model(self): num_classes = self.config.get("CNN_training_rule", "num_classes") seq_length = self.config.get("CNN_training_rule", "seq_length") conv1_num_filters = self.config.get("CNN_training_rule", "conv1_num_filters") conv1_kernel_size = self.config.get("CNN_training_rule", "conv1_kernel_size") conv2_num_filters = self.config.get("CNN_training_rule", "conv2_num_filters") conv2_kernel_size = self.config.get("CNN_training_rule", "conv2_kernel_size") hidden_dim = self.config.get("CNN_training_rule", "hidden_dim") dropout_keep_prob = self.config.get("CNN_training_rule", "dropout_keep_prob") model_input = keras.layers.Input((seq_length,1), dtype='float64') # conv1形状[batch_size, seq_length, conv1_num_filters] conv_1 = keras.layers.Conv1D(conv1_num_filters, conv1_kernel_size, padding="SAME")(model_input) conv_2 = keras.layers.Conv1D(conv2_num_filters, conv2_kernel_size, padding="SAME")(conv_1) max_poolinged = keras.layers.GlobalMaxPool1D()(conv_2) full_connect = keras.layers.Dense(hidden_dim)(max_poolinged) droped = keras.layers.Dropout(dropout_keep_prob)(full_connect) relued = keras.layers.ReLU()(droped) model_output = keras.layers.Dense(num_classes, activation="softmax")(relued) model = keras.models.Model(inputs=model_input, outputs=model_output) # model.compile(loss="categorical_crossentropy", # optimizer="adam", # metrics=["accuracy"]) model.compile(loss='binary_crossentropy', optimizer='adam', metrics=['accuracy']) print(model.summary()) return model给这段代码每行加上注释
06-02
dropout_keep_prob = self.config.get("CNN_training_rule", "dropout_keep_prob") #dropout保留率 # 定义模型输入 model_input = keras.layers.Input((seq_length,1), dtype='float64') # 第一层卷积 conv_1...
def drop_path(x, drop_prob: float = 0., training: bool = False, scale_by_keep: bool = True): """Drop paths (Stochastic Depth) per sample (when applied in main path of residual blocks). This is the same as the DropConnect impl I created for EfficientNet, etc networks, however, the original name is misleading as 'Drop Connect' is a different form of dropout in a separate paper... See discussion: https://github.com/tensorflow/tpu/issues/494#issuecomment-532968956 ... I've opted for changing the layer and argument names to 'drop path' rather than mix DropConnect as a layer name and use 'survival rate' as the argument. """ if drop_prob == 0. or not training: return x keep_prob = 1 - drop_prob shape = (x.shape[0],) + (1,) * (x.ndim - 1) # work with diff dim tensors, not just 2D ConvNets random_tensor = x.new_empty(shape).bernoulli_(keep_prob) if keep_prob > 0.0 and scale_by_keep: random_tensor.div_(keep_prob) return x * random_tensor
最新发布
07-11
然后，计算保留概率`keep_prob`，即1减去丢弃概率`drop_prob`。 接着，根据输入张量`x`的形状创建一个与其相同形状的随机张量`random_tensor`，其中的元素服从伯努利分布，并且取值为1的概率为保留概率`keep_prob`...
详解tf.nn.dropout
Jq的博客
07-29 866
tensoflow中有两个dropout函数容易混淆 tf.nn.dropout 中参数 keep_prob :每一个元素被保存下的概率。 tf.layer.dropout 中参数 rate :每一个元素丢弃的概率。keep_prob = 1 - rate tf.layers.drop函数定义如下： tf.layers.dropout(inputs,rate=0.5,noise_shape=None,seed=None,training=False,name=None) 在 tf.layer.drop
tf.nn.dropout介绍
比比的博客
07-10 1701
tf.nn.dropout中参数 keep_prob :每一个元素被保存下的概率。 tf.layer.dropout中参数 rate :每一个元素丢弃的概率。 在tf.nn.dropout中： def dropout(x, keep_prob, noise_shape=None, seed=None, name=None) x：上一层传下载的tensor。（一般用于全连接层后面） ...
TensoFlow损失函数tf.layers.dropout与tf.nn.dropout的区别
繁华落尽梦一场
01-27 1373
TensorFlow1.0中有两个损失函数，tf.layers.dropout与tf.nn.dropout，两个函数的丢弃概率恰好相反，如果不仔细，很容易搞错。 tf.nn.dropout 中参数 keep_prob ：每一个元素被保存下的概率。而 tf.layer.dropout 中参数 rate ：每一个元素丢弃的概率。所以，keep_prob = 1 - rate。 在 tf.layer...
【深度学习】2.1深度学习的实用层面
糊涂懿的博客
10-09 812
训练/开发/测试集 偏差/方差 机器学习基础 正则化 为什么正则化可以减少过拟合？ Dropout正则化 理解Dropout 其他正则化方法 正则化输入 梯度消失与梯度爆炸 神经网络的权重初始化 梯度的数值逼近 梯度检验 关于梯度检验实现的注记 如何改变文本的样式 强调文本 强调文本 加粗文本 加粗文本 标记文本 删除文本 引用文本 H2O is是液体。 210 运算结果是 1024. 插入居中的图片: 居中并且带尺寸的图片: 如何插入一段漂亮的代码片 // An highlighted block
YOLOv4的Tricks解读二 --- 正则化（DropOut/DropConnect/DropBlock）
梦坠凡尘
05-20 5181
目录DropOutDropBlock YOLOv4 = CSPDarknet53 + SPP + PAN + YOLOv3 YOLOv4采用的trick可以分为以下几类： 用于骨干网的 Bag of Freebies（BoF）：CutMix和Mosaic数据增强，DropBlock正则化，Label Smooth 用于骨干网的 Bag of Specials（BoS）：Mish，跨阶段部分连接（CSP），多输入加权剩余连接（MiWRC） 用于检测器的 Bag of Specials（BoS）：Mish，S
Tensorflow---dropout之神经网络结构分析
野生蘑菇菌的博客
02-26 320
一、引言 之所以有这篇博客，可以说是对之前一段时间学习pthon以及tensorflow以及全连接神经网络的一个总结。
tensorflow学习笔记（八）：dropout
Keith
10-22 2万+
tensorflow:dropout我们都知道dropout对于防止过拟合效果不错 drop一般用在全连接的部分，卷积部分不会用到dropout,输出曾也不会使用dropout，适用范围[输入，输出) 1.tf.nn.dropout(x, keep_prob, noise_shape=None, seed=None, name=None) 2.tf.nn.rnn_cell.DropoutWra
图卷积网络GCN代码分析（Tensorflow版）
热门推荐
知行合一，止于至善
09-08 4万+
文章目录GCN中的数据集和格式说明Cora、Citeseer、Pubmed以Cora为例数据格式示例代码分析`train.py``models.py``layers.py``utils.py``metrics.py``inits.py`参考 应某些同学要求，分享一个对GCN源码的分析。 源代码 github：https://github.com/tkipf/gcn GCN中的数据集和格式说明 Co...
【Tensorflow】报错：FailedPreconditionError: Attempting to use uninitialized value keep_prob_7
小白兔的窝
06-04 3万+
问题描述： 定义了一个变量： keep_prob = tf.Variable(1.0 , name='keep_prob') 尝试打印它的值： print(sess.run(keep_prob)) 报错： FailedPreconditionError: Attempting to use uninitialized value keep_prob_7 问题解决： Tens
DeepLearing学习笔记-改善深层神经网络(第一周作业-2-正则化)
ljp1919的专栏
10-14 2063
0-背景：本文采用正则化的方式处理神经网络过程中的过拟合问题。0-1预先的环境要求：# import packages import numpy as np import matplotlib.pyplot as plt from reg_utils import sigmoid, relu, plot_decision_boundary, initialize_parameters, load_2
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值