torch
文章平均质量分 51
apodxxx
深度学习已弃坑,不再更新和解答相关问题,非常抱歉
展开
-
指数加权平均(MEA)
1. 定义滑动平均(exponential moving average),或者叫做指数加权平均(exponentially weighted moving average),可以用来估计变量的局部均值,使得变量的更新与一段时间内的历史取值有关。2. 通俗解释变量 在 𝑡 时刻记,为变量𝑣在𝑡时刻的取值,即在不使用滑动平均模型时 ,在使用滑动平均模型后,的更新公式如下:上式中,𝛽∈[0,1)β∈[0,1)。若β=0 相当于没有使用滑动平均。3. 代码实现class E...原创 2022-05-08 13:38:20 · 1059 阅读 · 0 评论 -
swin-transformer详解及代码复现
1. swin-transformer网络结构实际上,我们在进行代码复现时应该是下图,接下来我们根据下面的图片进行分段实现2. Patch Partition & Patch Embedding首先将图片输入到Patch Partition模块中进行分块,即每4x4相邻的像素为一个Patch,然后在channel方向展平(flatten)。假设输入的是RGB三通道图片,那么每个patch就有4x4=16个像素,然后每个像素有R、G、B三个值所以展平后是16x3=48,所以通过Patc原创 2022-04-03 18:29:58 · 15898 阅读 · 10 评论 -
Vision Transformer代码讲解及复现
VIT(Vision in Transformer)网络结构1. Embedding层结构详解在代码实现中,直接通过一个卷积层来实现。在输入Transformer Encoder之前注意需要加上token以及Position Embedding。import paddleimport paddle.nn as nnfrom PIL import Imageimport numpy as npclass PatchEmbedding(nn.Layer): def __init__(原创 2022-04-03 18:23:50 · 2388 阅读 · 0 评论 -
将yolov5项目打包成exe可执行文件
将yolov5打包成exe可执行文件原创 2022-03-07 17:23:41 · 11479 阅读 · 21 评论 -
nn.Sequential的参数的注意事项
在Python中,*作用在形参上,代表这个位置接收任意多个非关键字参数,转化成元组方式;*作用在实参上,代表的是将输入迭代器拆成一个个元素。从nn.Sequential的定义来看,输入要么是orderdict,要么是一系列的模型,遇到list,必须用*号进行转化,否则会报错 TypeError: list is not a Module subclass```# 下面的三种layer都是可以layer = nn.Sequential(nn.Linear(10,20),nn.ReLU(),nn.L原创 2022-01-28 00:03:15 · 2572 阅读 · 3 评论 -
nn.Conv1d当kernel-size=1时的应用
Conv1d和Conv2d的区别原创 2021-12-03 22:11:40 · 1632 阅读 · 0 评论 -
ReLU等激活函数对tensor的一点小提示
a = torch.tensor([[2,-1],[3,4]])nn.ReLU()(a)#上面的代码等同于m = nn.ReLU()m(a)原创 2021-12-03 20:52:48 · 436 阅读 · 0 评论