深度学习
文章平均质量分 63
深度学习网络相关内容
crasyter
这个作者很懒,什么都没留下…
展开
-
pytorch下tensorboard使用[远程服务器]
说明:16006:127.0.0.1代表本机上的16006号端口,6006是服务器上tensorboard使用的端口(两个端口号都可以自己设置,只要没被占用即可)。10.76.2.233 -p 52指的是服务器的IP。tag指定可视化时变量的名字,scalar_value是保存的值,global_step可以理解为x轴坐标。这里的SummaryWriter的作用就是,将数据以特定的格式存储到刚刚提到的那个文件夹中。这样就会生成一个x轴跨度为100的折线图,y轴坐标代表着每一个epoch的mAP。原创 2023-02-16 20:44:28 · 1104 阅读 · 0 评论 -
深度学习tips
1、datasets_make函数中最后全部转化为numpy形式。2、模型推导时数据首先进行处理,移到cuda上。而不是(30,10, 32,16)否则会出现问题,比如数据是10。原创 2023-02-13 17:07:02 · 2354 阅读 · 0 评论 -
生成训练数据报错ValueError: num_samples should be a positive integer value, but got num_samples=0
查看print("train_dataset: ", len(train_dataset.scene_info))是正确数据个数,经过检查发现是生成数据时。其中self.sequence_set是一个空array,len始终为0,修改为正确长度即可。原创 2023-02-13 10:38:43 · 1709 阅读 · 6 评论 -
自注意力机制 Self-Attention
对于输入的每一个向量(第一层是词的Embedding,其它层是前一层的输出),我们首先需要生成3个新的向量Q、K和V,分别代表Query向量、Key向量和Value向量。Q表示为了编码当前词,需要去注意(attend to)其它(其实也包括它自己)的词,我们需要有一个查询向量。而Key向量可以认为是这个词的关键的用于被检索的信息,而Value向量是真正的内容。另外Key和Value都不是输入向量,而是输入向量做了一下线性变换。输出计算为值的加权和,其中分配给每个值的权重由查询与相应键的兼容性函数计算。原创 2022-12-15 21:08:16 · 286 阅读 · 0 评论 -
Transformer网络
Transformer网络最初被设计出来是为了自然语言处理、语言翻译任务,这里解释的也主要基于这一任务展开。在 Transformer 出现之前,递归神经网络(RNN)是自然语言处理的首选解决方案。当提供一个单词序列时,递归神经网络(RNN)将处理第一个单词,并将结果反馈到处理下一个单词的层。这使它能够跟踪整个句子,而不是单独处理每个单词。但是这种方法只能顺序的处理单词,同时对于长序列的文本无法有效处理,当两个单词距离过远时会出现梯度消失的问题。原创 2022-12-13 21:54:17 · 9729 阅读 · 0 评论 -
LSTM网络
长短期记忆网络 LSTM原创 2022-03-21 19:47:06 · 6645 阅读 · 0 评论