m0_48610901的博客

深度可分离卷积、倒残差结构、SE模块

nn.init.normal_(m.weight.data)#nn.init.normal 函数通过从具有指定均值和标准差的正态分布中采样值来初始化张量中的权重。这有助于打破权重的对称性，并防止神经网络在训练开始时陷入局部极小值。nn.init.xavier_normal_(m.weight.data)#Xavier 正态初始化是一种权重初始化方案，旨��解决神经网络中的梯度消失和梯度爆炸问题。

对于7×7大小的表格，在行上相对位置有7∗2−1个，在列上也是，故有13∗13169个相对位置，同理2∗2个patch在行上有2∗2−1个相对位置，整个patch有3∗39个相对位置。

COCO数据集介绍以及pycocotools简单使用MS COCO数据集介绍以及pycocotools简单使用COCO数据集包含VOC数据集的所有类别，且单个类别的目标数目比VOC多。数据集中有的图片没有标注，或者是标注有错误的情况，比如宽或者高为0的情况，因此用该数据集进行训练时需要对数据进行一个筛选。为什么不用测试集？一般只有在大型比赛中才会用到测试集test，为了防止作弊，且该test的数据分布可能与train和val不同（也可以测试一下模型的泛化性能）。

官方的代码不支持多尺度训练，但应该是可以支持的。可以认为是AC先向下移，之后BA向右移动。

CSDNB站红圈内的部分直接用一个卷积层实现，在代码实现中，直接通过一个卷积层来实现。以ViT-B/16为例，直接使用一个卷积核大小为16x16，步距为16，卷积核个数为768的卷积来实现根据代码的论文中结构未画出的地方。

for循环有明确的循环对象或次数；而while循环的循环次数未知。转化为整型用int;即don’t repeat yourself。改变字母大小写以及如何输出一段带变量的字符。input获得的默认是字符串形式。优先级not>and>or。用于计算的库math。

其中in_features和out_features都是指单个样本的维度。是否求均值在每个batch数量都一样时对结果没有影响。torch.optim.SGD()中需要传入的params（参数）是指需要更新的参数，model.parameters()是将模型中所有的参数都取出来。