![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
pytorch
Alex Ruan
这个作者很懒,什么都没留下…
展开
-
NCCL Error 2: unhandled system error | data parallel on GPU A100(多卡DP训练报错)
单卡训练没有问题,多卡DP训练的时候报错。原创 2023-01-22 21:17:12 · 1569 阅读 · 1 评论 -
启动bert-server报错TypeError: cannot unpack non-iterable NoneType object
查了一圈,是因为tensorflow版本太高,我装的2.0的版本,换成1.15就好了。原创 2022-08-27 17:10:27 · 1492 阅读 · 0 评论 -
pytorch中torch.mul、torch.mm/torch.bmm、torch.matmul的区别
torch.matmul: 两个tensor的矩阵乘积,与mm的区别就是不限制是不是二维,符合broadcasted规则的都可以。torch.mul: 两个输入按元素相乘,内积。torch.mm: 特指二维矩阵乘法,外积。分两种情况,默认其中一个是tensor。......原创 2022-08-18 11:53:45 · 1538 阅读 · 0 评论 -
安装apex报错
首先如果apex安装cuda的版本,简单的是不行的。原创 2022-08-01 00:47:49 · 1331 阅读 · 0 评论 -
MMF的初步介绍:一个规范化的视觉-语言多模态任务框架
https://www.apude.com/blog/767.html转载 2022-07-29 20:36:35 · 428 阅读 · 0 评论 -
词汇表的构建——代码补全快餐教程(3)-分词
https://wenku.baidu.com/view/ef31e600677d27284b73f242336c1eb91a3733b5.html转载 2022-06-02 21:32:10 · 182 阅读 · 0 评论 -
huggingface加载预训练模型
在加载前需要统一模型文件名。比如bin文件都得叫pytorch_model.bin,配置文件都得叫config.json,词汇文件都得叫vocab.txt或json。这个是因为源码中的判断要求,所以别问,问就是改名。(https://blog.csdn.net/qq_33293040/article/details/109534923)RoBERTa中的merge.txt和vocab.json是什么Bert采用的是字符级别的BPE编码,直接生成词表文件。Roberta采用的是**byte level的B转载 2022-05-16 16:17:10 · 1322 阅读 · 0 评论 -
nn.CrossEntropyLoss()交叉熵损失函数
交叉熵公式在pytorch中细究其中CrossEntropyLoss是由softmax+log+NLLLoss组成那百度一下NLLLoss是什么?from torch import nnimport torch# nllloss首先需要初始化nllloss = nn.NLLLoss() # 可选参数中有 reduction='mean', 'sum', 默认meanpredict = torch.Tensor([[2, 3, 1], [3,转载 2022-05-08 22:35:37 · 663 阅读 · 0 评论 -
pytorch gather用法
https://blog.csdn.net/liuweiyuxiang/article/details/84668384https://zhuanlan.zhihu.com/p/352877584转载 2022-02-04 12:50:42 · 78 阅读 · 0 评论 -
LSTM和GRU
LSTMhttps://zhuanlan.zhihu.com/p/32085405有关实现https://zhuanlan.zhihu.com/p/104475016GRUhttps://zhuanlan.zhihu.com/p/32481747转载 2022-02-02 15:58:25 · 65 阅读 · 0 评论 -
安装spacy,报错OSError: [E050] Can‘t find model ‘en‘. It doesn‘t seem to be a shortcut link
pip install spacypython -m spacy download en网上流传要这样:python -m spacy download en_core_web_sm其实安装的时候,用管理员权限即可,因为会自动创造符号链接将en链接到en_core_web_sm附en_core_web_sm-2.3.0的下载链接https://github.com/explosion/spacy-models/releases/tag/en_core_web_sm-2.3.0...原创 2022-01-27 22:00:37 · 1073 阅读 · 0 评论 -
pytorch求 tensor的元素个数 | python中*args和**kwargs的含义
在学pytorch的过程中遇到了要求tensor元素个数的操作,从而有了以下代码:import torchimport numpy as npdef test(): torch.manual_seed(1) a = torch.randn(3, 4) print(a) print(a.size()) print(*a.size()) print(np.multiply(*a.size()))test()输出:所以* 表示是解包,将size原创 2022-01-24 13:55:33 · 1738 阅读 · 0 评论 -
pytorch的size和shape用法
有别于numpy中size的用法(用来计算数组和矩阵中所有元素的个数),pytorch的size具有和shape一样计算矩阵维度大小的作用。上代码~import torchimport numpy as nptorch.manual_seed(1)a=torch.randn(3,4)b=np.arange(1,5)b=b.reshape([2,2])# print(a)print(b)print("torch size():",a.size(1))print("torch.sha原创 2022-01-24 13:24:02 · 3888 阅读 · 0 评论 -
安装torchtext导致pytorch版本与torchvision和torchaudio不兼容
安装torchtext(pytorch) D:\Study\Python\pythonProject>pip install torchtext -i https://pypi.tuna.tsinghua.edu.cn/simple如图ERROR: pip’s dependency resolver does not currently take into account all the packages that are installed. This behaviour is the原创 2022-01-18 21:24:49 · 5110 阅读 · 1 评论 -
pytorch保存模型等相关参数,利用torch.save(),以及读取保存之后的文件
转载自https://www.cnblogs.com/qinduanyinghua/p/9311410.html本文分为两部分,第一部分讲如何保存模型参数,优化器参数等等,第二部分则讲如何读取。假设网络为model = Net(), optimizer = optim.Adam(model.parameters(), lr=args.lr), 假设在某个epoch,我们要保存模型参数,优化器参数以及epoch一、先建立一个字典,保存三个参数:state = {‘net':model.state转载 2022-01-17 13:04:17 · 3461 阅读 · 0 评论 -
PyTorch的 nn.CrossEntropyLoss()报错
nn.CrossEntropyLoss()中两个参数,其中的标签必须为long型(int64)的,不能是float32hwLabels = torch.Tensor(hwLabels).long()loss_func = nn.CrossEntropyLoss() for epoch in range(EPOCH): for step, (b_x, b_y) in enumerate(train_loader): # gives batch data, normalize x原创 2021-12-09 09:39:20 · 1807 阅读 · 0 评论 -
torch.max()使用讲解
https://www.jianshu.com/p/3ed11362b54f转载 2021-11-30 21:26:40 · 197 阅读 · 0 评论 -
PyTorch之前向传播函数forward
https://blog.csdn.net/u011501388/article/details/84062483以一个Module为例:调用module的call方法module的call里面调用module的forward方法forward里面如果碰到Module的子类,回到第1步,如果碰到的是Function的子类,继续往下调用Function的call方法Function的call方法调用了Function的forward方法。Function的forward返回值module的f转载 2021-11-26 17:08:22 · 248 阅读 · 0 评论 -
PyTorch中view、permute、reshape对比
view用法Tensor.view(*shape) → Tensor通俗理解: 把原先tensor中的数据按照行优先的顺序排成一个一维的数据(这里应该是因为要求地址是连续存储的),然后按照参数组合成其他维度的tensor。比如说是不管你原先的数据是[[[1,2,3],[4,5,6]]]还是[1,2,3,4,5,6],因为它们排成一维向量都是6个元素,所以只要view后面的参数一致,得到的结果都是一样的。比如,a=torch.Tensor([[[1,2原创 2021-07-24 18:45:44 · 1140 阅读 · 3 评论 -
pytorch 中tensor的加减和mul、matmul、bmm
https://www.cnblogs.com/AntonioSu/p/12021366.html转载 2021-07-01 19:37:54 · 710 阅读 · 0 评论