conv2d函数_Deep InfoMax损失函数小记

最新推荐文章于 2024-03-07 18:06:24 发布
最新推荐文章于 2024-03-07 18:06:24 发布
阅读量519 收藏 1
点赞数
文章标签： conv2d函数
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_28810315/article/details/112117689
版权

97645a1fa67d81b191a261498dcbc80b.png

无监督表示学习随着深度学习的迅猛发展，近年来呈现出百花齐放之态。19年ICLR会议中收录的Learning Deep Representations by Mutual Information Estimation and Maximization这篇Bengio组大作，从互信息的视角给出了一种新的思路。

关于Deep InfoMax(DIM)的解读已有珠玉在前， 只是多数分析的博客更关注本文的理论推导，而在这篇文章的实现上，仅凭理论上的指引，我无法复原出loss function的细节，于是在github搜了本文的源码。原作者的源码封装较好，略略一读有些头大，于是我转而研读另一版的pytorch代码，初步明确了DIM的loss function一种实现方式。

原文中，DIM的优化目标是：

6b8736aaa7bf523e91e07c88c0c9de86.png
论文中的等式(8)

根据论文可知，上式中的字母含义分别为：

  • ：表示用于提取输入图像特征的编码器Encoder。

fe256c12eceb613b8b9a4c20648c2faa.png
  • ：输入的原始图像。

0b4ef8419f00d5a94cbb18d61036f89c.png
从输入空间得到的训练样本集
  • ：调节各部分占比的超参数。
  • ：Mutual Information(MI) estimator，互信息估计器。
  • ：全局和局部目标的判别器模型的参数。
  • ：看论文示意图中M x M的feature map可知，
    就是低层特征的数量。
  • ：第i个低层特征（共
    个）。
  • ：仿照adversarial autoencoders(AAE)设计的D
最低0.47元/天 解锁文章
仓颉的诗
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
conv2d函数_Pytorch 从0开始学（6）——Conv2d 详解
weixin_42371574的博客
12-21 2303
您是否在使用Conv2d时遇见问题了呢？您是否还在以Conv2d(128， 256， 3)的方式简单使用这个最具魅力的layer呢？想更了解Conv2d么？让我们一起来深入看看它的真容吧，让我们触到它更高端的用法。在第5节中，我们已经使用了Linear层来构建模型。其来自于torch.nn中首先，我们先对torch.nn 来个整体的认识。官方链接：https://pytorch.org/docs/...
（已发布源码）图像修复——上下文编码器以及加入全局判别器的改进（Context Encoder and Global and Local Discriminator）
HustQbw的博客
03-25 2359
Context Encoder and Global and Local DiscriminatorContext Encoder ，Global and Local DiscriminatorContext Encoder（上下文编码器）在AE基础上modifychannel-wise fully-connected layer（创新点）Context Encoder组成判别器Unsupervised-learningLoss FunctionReconstruction Loss重构损失Adversar
Conv2d函数详解（Pytorch）
qq_43363657的博客
02-15 6万+
本文是基于Pytorch框架下的API ：Conv2d（）。该函数使用在二维输入，另外还有Conv1d（）、Conv3d（），其输入分别是一维和三维。下面将介绍Conv2d（）的参数。 一、参数介绍 def __init__( self, in_channels: int, out_channels: int, kernel_size: _size_2_t, stride: _size_2_t = 1, p.
【PyTorch】nn.Conv2d函数详解
See_Star的博客
10-27 2万+
【PyTorch】nn.Conv2d函数详解
CNN卷积函数Conv2D()各参数的含义及用法
魔法探戈
07-23 5万+
首先我们放出tf2.0关于tf.keras.layers.Conv2D()函数的官方文档，然后逐一对每个参数的含义和用法进行解释： tf.keras.layers.Conv2D( filters, kernel_size, strides=(1, 1), padding='valid', data_format=None, dilation_rate=(1, 1), activation=None, use_bias=True, kernel_initializer='glorot_
pytorch之torch.nn.Conv2d()函数详解
热门推荐
夏普通
07-09 20万+
文章目录一、官方文档介绍二、torch.nn.Conv2d()函数详解参数详解参数dilation——扩张卷积（也叫空洞卷积）参数groups——分组卷积三、代码实例 一、官方文档介绍 官网 nn.Conv2d：对由多个输入平面组成的输入信号进行二维卷积 二、torch.nn.Conv2d()函数详解 参数详解 torch.nn.Conv2d(in_channels, out_channels, kernel_size, stride=1, padding=0, dilation=1, groups=
arc_conv-master_sourcecode_PURE_game_arc_conv.exe_arc_conv_
09-28
arc_conv========Command-line visual novel toolkit written by w8m in pure ASM
theano_fftconv-master_cufft_conv2d_
10-04
利用scikits.cuda对基于CuFFT的Theano进行卷积运算
Conv-Bi_LSTM.zip
06-21
Bi-LSTM_and_Conv-LSTM代码
conv_encoder.rar_conv_encoder_convolution_encoder
09-24
d convolution of signals
TensorFlow tf.nn.conv2d_transpose是怎样实现反卷积的
09-17
主要介绍了TensorFlow tf.nn.conv2d_transpose是怎样实现反卷积的，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧
Deep InfoMax (DIM)
连理o的博客
08-11 851
deep infomax
BFD简介
最新发布
2301_76769041的博客
03-07 506
BFD在两台网络设备上建立会话，用来检测网络设备间的双向转发路径，为上层应用服务。BFD本身并没有邻居发现机制，而是靠被服务的上层应用通知其邻居信息以建立会话。会话建立后会周期性地快速发送BFD报文，如果在检测时间内没有收到BFD报文则认为该双向转发路径发生了故障，通知被服务的上层应用进行相应的处理。下面以OSPF与BFD联动为例，简单介绍会话工作流程。
【Pytorch神经网络实战案例】18 最大化深度互信信息模型DIM实现搜索最相关与最不相关的图片
小李的研究生学习日记
03-28 1万+
图片搜索器分为图片的特征提取和匹配两部分，其中图片的特征提取是关键。将使用一种基于无监督模型的提取特征的方法实现特征提取，即最大化深度互信息（DeepInfoMax，DIM）方法。 1 最大深度互信信息模型DIM简介 在DIM模型中，结合了自编码和对抗神经网络，损失函数使用了MINE与f-GAN方法的结合。在此之上，DM模型又从全局损失、局部损失和先验损失3个损失出发进行训练。 1.1 DIM模型原理 性能好的编码器应该能够提取出样本中最独特、具体的信息，而不是单纯地追求过小的重构误差。...
【博客70】c语言可变输入参数的实现
qq_43684922的博客
07-14 808
内容：记录一下c语言如何实现可变输入参数，刚想起之前一个面试的问题：printf是如何实现可变参数的？今天也来模拟实现简单类型的。 重要头文件：（包含了几个需要使用的可变宏） 主要有： 1. void va_start ( va_list ap, paramN ); 参数： ap: 可变参数列表地址 paramN: 确定的参数 功能：初始化可变参数列表（把函数在 paramN 之后的参数地址放到...
pytorch nn.conv2d参数个数计算
probie的博客
03-12 4176
nn.conv2d(256, 256, 3, 3) 假设输入大小为[3, 128, 128],输出的大小则为128-3+1=126，这一层参数个数为256*3*3+256=2560. 假设输入尺寸为[C_in, H, W]，则输出大小计算公式为[C_out, (H-K+2*P)/S+1, (W-K+2*P)/S+1]。其中C_in是输入通道数，H，W是数据的尺寸，K是核大小，P是padding大小，S是步长stride大小。 nn.conv2d(C_in, C_out, K, K)参数个数的计算公式为C_
Deep InfoMax
yhblog的博客
11-20 110
参考 https://www.jiqizhixin.com/articles/2018-09-06-8
神经网络——Conv2d的使用
m0_51816252的博客
06-01 2万+
在Convolution Layers 卷积层中有很多函数，像：nn.Conv1d 表示1维的；nn.Conv2d 表示2维的，如图片，等。其中Conv2d使用最多，故本文重点讲下nn.Conv2d的使用。
tf.nn.conv2d() / tf.nn.depthwise_conv2d() 和 Batchsize效益
沈春旭的博客
01-14 1万+
1. 卷积函数tf.nn.conv2d()  tf.nn.conv2d(input, filter, strides, padding, use_cudnn_on_gpu=True, data_format='NHWC',dilations=[1, 1, 1, 1], name=None) 对于给定的4-D张量输入，利用给定的filter执行2-D卷积运算。 ...
Conv2D函数中kernel_size作用是什么
04-29
在 Conv2D 函数中，kernel_size 参数指定了卷积核（也称为滤波器）的大小。卷积核是一个小的矩阵，它在输入图像上滑动并执行卷积运算，以产生输出特征图。 kernel_size 参数通常是一个整数或一个元组，它指定了卷积核的高度和宽度。例如，如果 kernel_size = 3，则卷积核将是一个 3x3 的矩阵。如果 kernel_size = (5, 5)，则卷积核将是一个 5x5 的矩阵。 在深度学习中，通过调整卷积核的大小，可以控制模型学习的抽象级别。较小的卷积核可以捕捉图像中的细节信息，而较大的卷积核可以更好地捕捉整体特征。但是，使用较大的卷积核会增加模型的参数数量和计算复杂度。因此，在选择 kernel_size 时需要平衡模型的性能和计算资源之间的关系。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值