Pytorch
行走的五花肉
这个作者很懒,什么都没留下…
展开
-
文本分类---使用CrossEntropyLoss时候的一些错误
错误:multi-target not supported at C:/w/1/s/tmp_conda_3.6_045031/conda/conda-bld/pytorch_1565412750030/work/aten/src\THCUNN/generic/ClassNLLCriterion.cu:15 jie **解决:**将label变为一维, 见到batch.label=batch.label.unsqueeze(1)要小心。loss函数为交叉熵的时候,此时的输入label应该就是batch_siz原创 2020-07-07 17:53:45 · 871 阅读 · 0 评论 -
动手学bert课程笔记
1.pytorch下面有一个pre_trained里面的东西是官方给定的,在tokenizion中可以更改各个与训练模型的下载的地址,过多的就不要改了。 2.我们在使用bert的时候,写forward当我们不知道数据的形式什么样的时候,我们就点进去源码,看看对于该模型的输入输出的要求 这里的x是什么?传进bert都需要什么?x就是什么 上图就是模型的输入输出的要求。 此处需要写bert的前向传播,直接点进去self.bert,复制前向传播的参数即可。 模型初步写完我们需要调整一下维度。在这里是con原创 2020-08-18 17:18:59 · 930 阅读 · 1 评论 -
TF-IDF
TF-IDF是一种统计方法,用来评估一字词对于一个文件集或一个语料库中的其中一份文件的重要程度。字词的重要性随着它①在文件中出现的次数成正比增加,但同时会随着它②在语料库中出现的频率成反比下降。 其中,①通过算法的TF部分来进行评估;②通过IDF来进行评估。 TF:Term Frequency,一般称为“关键词的词频”,或者“单文本词频”。计算方法:文件中关键词的使用次数除以文件总词数(非去重)。例如,在一篇总词数为10000的文章中,“人工智能”出现了17次,“发展”出现了23次,“的”出现了113次。那原创 2020-07-29 15:13:19 · 183 阅读 · 0 评论 -
MAML-CNN代码笔记
该代码中编写了许多初始化权重的信息,其他的代码都没有加载过初始化参数的信息吗? torch.nn.Parameter() w = nn.Parameter(torch.ones(*param[:4])) 在刷官方Tutorial的时候发现了一个用法self.v = torch.nn.Parameter(torch.FloatTensor(hidden_size)),看了官方教程里面的解释也是云里雾里,于是在栈溢网看到了一篇解释,并做了几个实验才算完全理解了这个函数。首先可以把这个函数理解为类型转换函数,原创 2020-07-26 09:00:41 · 1024 阅读 · 0 评论 -
pytroch和cuda,cudnn的关系
https://pytorch.org/get-started/previous-versions/原创 2020-04-12 13:52:10 · 227 阅读 · 0 评论 -
PyTorch: Tensors and autograd 2020.04.26
PyTorch: Tensors and autograd 2020.04.26 w1=torch.randn(D_in,H,device=device,dtype=dtype,requires_grad=True) w2=torch.randn(H,D_out,device=device,dtype=dtype,requires_grad=True) #因为w是需要进行梯度下降更新的,所以将其设...原创 2020-07-18 17:37:48 · 144 阅读 · 0 评论 -
Pytorch报错笔记
1. RuntimeError: CUDA out of memory. 解决办法:调低batchsize 2.AttributeError: Can’t pickle local object 在linux下不会报错,Windows下需要把num_works设置为0原创 2020-07-26 09:01:02 · 156 阅读 · 0 评论