![](https://img-blog.csdnimg.cn/20201014180756922.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Deep Learning
文章平均质量分 55
木禾DING
这个作者很懒,什么都没留下…
展开
-
相对位置编码和绝对位置编码
位置编码的区别:相对位置编码和绝对位置编码是两种不同的位置编码方法。绝对位置编码是一种基于位置嵌入的方法,其中每个位置都被分配了一个唯一的位置向量。这些向量是固定的,与输入序列的内容无关。这种编码方式对于处理较短的序列效果较好,但在处理长序列时可能会存在问题,因为序列的长度超过了模型能够处理的位置编码的范围。相对位置编码是一种基于相对位置的方法,其中每个位置被编码为一个偏移量,表示该位置与其他位置之间的相对距离。相对位置编码可以通过在输入嵌入中添加额外的信息来实现。原创 2023-07-28 14:23:10 · 3682 阅读 · 0 评论 -
Masked Autoencoder论文中 fine-tuning 和 linear probing含义
Masked Autoencoder论文中 fine-tuning 和 linear probing含义原创 2022-10-17 20:05:28 · 2871 阅读 · 2 评论 -
Pytorch中 torch.cat与torch.stack 拼接函数
stack()拼接函数,是拼接以后,再扩展一维。torch.stack()有两个参数,第一个是要拼接的张量的列表或是元组;第二个参数是拼接的维度。cat()拼接函数,将多个张量拼接成一个张量,保持维度不变。torch.cat()有两个参数,第一个是要拼接的张量的列表或是元组;第二个参数是拼接的维度。torch.cat() 和 torch.stack()函数要求输入张量的大小完全相同,才能进行拼接stack与cat的区别在于, 得到的张量的维度会比输入的张量的大小多1,并且多出的那个维度就是拼接的维原创 2022-02-23 10:23:47 · 1388 阅读 · 2 评论 -
pytorch tensor和 numpy的相互转换
tensor 转换为 numpy采用 .numpy() 函数即可a=torch.tensor([1,2,3]) print(a)print(type(a))print(a.dtype)b=a.numpy()print(b)print(type(b))print(b.dtype)输出:torch.tensor 整数默认为 int64 即 LongTensor 小数默认为 float32不过 一般对tensor 采用 tensor.data() 或者 tensor.detach(原创 2022-02-23 10:12:50 · 7528 阅读 · 0 评论 -
pytorch 矩阵和向量乘法
a=torch.tensor([1,2,3])c=torch.tensor([[1,2,3],[4,5,6]])print(torch.mul(a,c))print(torch.matmul(c,a))tensor([[ 1, 4, 9], [ 4, 10, 18]])tensor([14, 32])向量点乘:又叫做点积、内积、数量积、标量积,向量a[a1,a2,...,an]和向量b[b1,b2b...,bn]点乘的结果是一个标量,记作a.b;得到一个值。...原创 2021-10-18 11:33:36 · 5688 阅读 · 0 评论 -
自监督学习和无监督学习的区别
无监督学习无监督学习不依赖任何标签值,通过对数据内在特征的挖掘,找到样本间的关系,比如聚类相关的任务自监督学习和无监督学习不同,自监督学习主要是利用辅助任务(pretext)从大规模的无监督数据中挖掘自身的监督信息,通过这种构造的监督信息对网络进行训练,从而可以学习到对下游任务有价值的表征。换句话说:自监督学习的监督信息不是人工标注的,而是是通过辅助任务(pretext)在大规模无监督数据中自动构造监督信息,通过得到的标签,就可以类似有监督学习一样进行训练。区别自监督学习是从数据本身找标签来进行原创 2021-09-12 10:47:05 · 15215 阅读 · 1 评论 -
Pytorch view函数讲解
view()函数作用和reshape函数类似,就是对tensor的shape进行调整,可以通过view函数将tensor的shape调整成一个你希望的样子。import torchtorch.manual_seed(2)a=torch.randn(4,5)print(a)print(a.view(-1,2)) # 此时 -1,代表默认值,代表根据后面的列数来计算行数'''a...原创 2020-04-06 17:27:00 · 1068 阅读 · 0 评论 -
Pytorch中torch.gather函数
在学习 CS231n中的NetworkVisualization-PyTorch任务,讲解了使用torch.gather函数,gather函数是用来根据你输入的位置索引 index,来对张量位置的数据进行合并,然后再输出。其中 gather有两种使用方式,一种为 torch.gather另一种为 对象.gather。首先介绍 对象.gatherimport torchtorch.man...原创 2020-04-06 17:11:46 · 996 阅读 · 0 评论 -
shufflenet中channel shuffle原理
分组卷积Group convolution是将输入层的不同特征图进行分组,然后采用不同的卷积核再对各个组进行卷积,这样会降低卷积的计算量。因为一般的卷积都是在所有的输入特征图上做卷积,可以说是全通道卷积,这是一种通道密集连接方式(channel dense connection),而group convolution相比则是一种通道稀疏连接方式具体过程可见我的另一个博客https://blo...原创 2020-02-27 20:48:50 · 13513 阅读 · 4 评论 -
Group Convolution 分组卷积
Group Convolution分组卷积最早见于AlexNet——2012年Imagenet的冠军方法,Group Convolution被用来切分网络,使其在2个GPU上并行运行,AlexNet网络结构如下:Convolution VS Group Convolution如果输入feature map尺寸为C∗H∗W,卷积核有N个,输出feature map与卷积核的数量相同也是N,每...原创 2020-02-27 20:30:16 · 1562 阅读 · 0 评论 -
MobileNet 深度可分离卷积(depthwise separable convolution)
简介MobileNet作为一个,轻量级的网络,可以在移动设备上进行训练,关键是采用了 深度可分离卷积(depthwise separable convolution)来提高效率,下面注重介绍介绍 深度可分离卷积。传统卷积方法假设输入特征图大小为 DF×DF×MD_F×D_F×MDF×DF×M,输出特征图大小为 DF×DF×ND_F×D_F×NDF×DF×N,卷积核大小为 DK×DK×...原创 2020-02-27 20:04:11 · 1928 阅读 · 0 评论 -
Inception V1 理解
在论文《Going Deeper with Convolutions》提出了GoogLeNet网络,并在 ILSVRC 2014(ImageNet Large Scale Visual Recognition Competition) 上取得了第一名,GoogLeNet 对网络中的传统卷积层进行了修改,提出了被称为 Inception 的结构,用于增加网络深度和宽度,提高深度神经网络性能。我们知...原创 2020-02-17 20:12:00 · 1523 阅读 · 0 评论 -
pytorch中squeeze()和unsqueeze()函数介绍
squeeze的用法主要就是对数据的维度进行压缩或者解压。torch.squeeze() 函数主要是对数据的维度进行压缩,去掉维数为1的的维度。比如对于一行或者一列这种,一个一行三列(1,3)的数去掉第一个维数为一的维度之后就变成(3)行。squeeze(a)就是将a中所有为1的维度删掉。不为1的维度没有影响。还有一种形式就是b=torch.squeeze(a,N) a中去掉指定的维数为一...原创 2020-02-15 20:13:21 · 1344 阅读 · 0 评论 -
pytorch中的item()用法
pytorch中,.item()方法 是得到一个元素张量里面的元素值具体就是 用于将一个零维张量转换成浮点数,比如计算loss,accuracy的值就比如:loss = (y_pred - y).pow(2).sum()print(loss.item())...原创 2020-02-15 20:05:33 · 21954 阅读 · 2 评论 -
卷积和池化操作对图片尺寸改变
卷积操作对于输入图像尺寸为Nw∗NhN_w * N_hNw∗Nh,图片通道数为C,那么 j假设卷积核尺寸为FxF,通道数也为C 步幅为S,Padding使用P,经过该卷积层后输出的图像尺寸为WxH:图片宽度W=⌊Nw+2P−FS+1⌋ W=\left \lfloor \frac{N_w+2P-F}{S} +1 \right \rfloor W=⌊SNw+2P−F+1⌋图片长...原创 2020-02-09 12:51:08 · 3546 阅读 · 0 评论