爱在深秋

博主最近在复现GAMSNet的时候，用到将张量B*1*H*W转化为B*C*H*W的操作，pytorch提供三个张量复制的函数tensor.repeat()与tensor.tile()与tensor.repeat_interleave()。tensor.repeat() 与 tensor.tile() tensor.repeat_interleave() 的源码，pycharm鼠标点进去可以看到。当三者传入的参数完全一致的时候，这三个函数的功能是一模一样的。沿着指定的维度复制指定次数，

之前博主写过一个ResNet34, ResNet18的实现方法，对于ResNet50的实现方法有点不太一样，之前的实现方法参考上面的链接。下面介绍ResNet50的实现方法。基本结构示意图发现ResNet50，其基本模块是三个，1*1 3*3 1*1 的卷积层，在向前推进的时候，需要特征图的通道数降维，

如果用于图像处理，tensor shape为：B×C×H×W，则可以直接设置dim = 1。UserWarning:Implicit dimension choice for softmax has been deprecated. 消除警告的办法_York1996的博客-CSDN博客_userwarning: implicit dimension choice for softmaxtorch.nn.Softmax()用法_Lins H的博客-CSDN博客。

pytorch与tensorflow中均有nn.dropout,两者之间的使用方法，下面将介绍。

前言：pytorch在训练的时候不定时的保存模型，防止因为异常中断而造成前功尽弃。但是pytorch中保存模型的情况有很多种，导致加载保存后的模型会出现geg

前言：博主使用的显卡配置为：2*RTX 2080Ti，最近在训练的时候，监控显卡的资源使用情况发现，虽然同是使用了两张显卡，但是每张显卡的使用率很不稳定，貌似是交替使用，这种情况下训练的速度是很慢的，为了解决下面是解决这个问题的一些过程。1. CPU和内存的使用情况2. 用linux命令查看显卡资源的使用情况watch -n 1 nvidia-smi模型执行预测阶段 使用显卡0，但是也只有51%的使用率。模型在训练阶段，同时使用两张显卡，发现里利用率也不高，我截取的最

摘要：最近写了一篇文章，reviewers给了几个意见，其中之一就是：不同配置下的网络初始化条件是否相同，是怎样初始化的？之前竟然没有关注过这个问题，应该是torch默认情况下会初始化卷积核参数，这里详细讲解一下torch卷积操作的初始化过程。1. pytorch中的卷积运算分类在pycharm的IDE中，按住ctrl+鼠标点击torch.nn.Conv2d可以进入torch的内部卷积运算的源码(conv.py)搭建网络经常使用到的模块如下图所示：class _ConvNd(.