PyTorch
文章平均质量分 79
野指针小李
这个作者很懒,什么都没留下…
展开
-
Pytorch实战笔记(3)——BERT实现情感分析
本文展示的是使用 Pytorch 构建一个 BERT 来实现情感分析。本文的架构是第一章详细介绍 BERT,其中包括 Self-attention,Transformer 的 Encoder,BERT 的输入与输出,以及 BERT 的预训练和微调方式;第二章是核心代码部分。原创 2023-02-01 18:09:49 · 10056 阅读 · 9 评论 -
Pytorch实战笔记(2)——CNN实现情感分析
本文展示的是使用 Pytorch 构建一个 TextCNN 来实现情感分析。本文的架构是第一章详细介绍 TextCNN(不带公式版),第二章是核心代码部分。原创 2023-01-20 12:18:24 · 3499 阅读 · 0 评论 -
Pytorch实战笔记(1)——BiLSTM 实现情感分析
本文展示的是使用 Pytorch 构建一个 BiLSTM 来实现情感分析。本文的架构是第一章详细介绍 BiLSTM,第二章粗略介绍 BiLSTM(就是说如果你想快速上手可以跳过第一章),第三章是核心代码部分。原创 2023-01-16 12:47:55 · 8635 阅读 · 11 评论 -
Pytorch学习笔记(9)——一文搞懂如何使用 torch 中的乘法
Pytorch 中矩阵乘法,包括点积与对位相乘调库的说明原创 2022-08-29 17:13:50 · 3584 阅读 · 0 评论 -
prompt learning——你需要掌握的基础知识以及离散型 prompt 的代码
prompt learning 是这两年很火热的技术,在 few-shot、zero-shot 领域都有很出色的表现。本文简要介绍了何为“预训练”、“微调”、“预训练语言模型”,并且提供了一份离散型 prompt learning 的代码。原创 2022-08-19 22:01:47 · 3471 阅读 · 0 评论 -
Pytorch学习笔记(8)——在序列标注等多维数据上如何使用交叉熵
对于多维数据 (例如 (batch_size, max_length, num_classes)) 等模型输出的数据,如何正确使用交叉熵获得损失原创 2022-08-09 21:50:18 · 1392 阅读 · 2 评论 -
Pytorch学习笔记(7)——模型放GPU上经常报CUDA错该怎么办
相信许多朋友在使用深度学习时,将模型放在GPU上运行,然后就会报一堆跟CUDA相关的错误,于是开始百度这些错误该怎么修复。得到的结果可能大多数都是该怎么升级CUDA之类的。当按照网上的流程一步步走下来后,却始终无法解决这些问题。而实际上在我遇到的所有跟CUDA相关的错误,其实都与CUDA没有任何关系,比如有可能是你的Embedding层的维度与词表不匹配等。发生这些错误的时候,我建议先将模型放到CPU上运行,看会不会发生错误,再决定你该如何修改代码。...原创 2022-03-01 09:52:00 · 1096 阅读 · 0 评论 -
Pytorch学习笔记(6)——RNN隐藏状态不能参与梯度计算
报错内容:CPU上运行报错:RuntimeError: Trying to backward through the graph a second time (or directly access saved variables after they have already been freed). Saved intermediate values of the graph are freed when you call .backward() or autograd.grad(). Specify原创 2022-02-11 16:50:35 · 1484 阅读 · 2 评论 -
单身舔狗的崛起之路——用MLP给你喜欢的女生训练个专属的衣服穿搭神经网络
曾经有个人给我说过,当年有个男的追她,天天给她发天气预报。但是女神不会看天气预报啊?或者她不会抬头望望天啊?于是秉持着舔到最后应有尽有,偷懒是人类进步的最大动力这两大原则,我为女神训练出了一个专属的衣服穿搭神经网络。整个项目已开源至github:https://github.com/Balding-Lee/PyTorch-MLP-for-personalized-dress-matching。目录1 数据获取2 数据处理3 模型定义与训练3.1 模型定义3.2 评价指标与损失函数3.3 训练模型3.原创 2021-10-29 12:37:43 · 1264 阅读 · 0 评论 -
Pytorch学习笔记(5)——交叉熵报错RuntimeError: 1D target tensor expected, multi-target not supported
当我使用交叉熵做损失函数时,发生了报错:RuntimeError: 1D target tensor expected, multi-target not supported我查了相关资料,里面的说法基本都是:输入labels维度应该为1维,且精度不能是Double,必须换成long;对输入标签进行降维。但是却没法解决我的问题,因为我的标签数据在处理好后,用以下代码处理过:torch.FloatTensor(labels)而且我也打印过我的标签数据的维度:torch.Size([16原创 2021-10-27 21:28:26 · 19905 阅读 · 12 评论 -
Pytorch学习笔记(4)——从0实现CNN情感分析
感觉之前RNN的代码写的太丑陋了,所以该文章主要参考了Dive-into-DL-PyTorch和中文文本分类 pytorch实现的代码。目录1 项目框架2 预处理2.1 将所有词映射为词向量2.2 将句子中的词语映射为id3 CNN模型4 参考1 项目框架整个项目的框架抽象来看是如下的:简而言之就是输入的是整一句话,宽度为词向量维度(这里是300维),高度为句子最大长度。经过嵌入层嵌入后,通过卷积与最大池化层,最后进入全连接层,在softmax后得到情感分类的输出。其详细的框架图为:中文文本.原创 2021-10-26 15:57:01 · 872 阅读 · 4 评论 -
Pytorch学习笔记(3)——从0实现RNN情感分析
本文从0实现了用torch做基于RNN的情感分析。代码已上传到Github,链接为:https://github.com/Balding-Lee/torch-sentiment-analysis-based-on-RNN。但是效果并不是特别好,有可能是数据问题,也有可能是代码问题。如果是代码问题,欢迎指教。目录1 任务描述2 数据处理2.1 词语数目确定2.2 未知词词向量给定2.3 词嵌入3 模型训练3.1 RNN3.2 k折交叉验证3.3 获得准确率3.4 训练1 任务描述我的任务目标是采用t.原创 2021-10-20 16:21:07 · 2014 阅读 · 2 评论 -
Pytorch学习笔记(2)——to(device)无法将数据放到GPU上
目录1 问题来源2 解决方案1 问题来源我删除了无关代码,只放出错的部分device = torch.device('cuda' if torch.cuda.is_available() else 'cpu')train_iter = Data.DataLoader(train_dataset, batch_size=batch_size, shuffle=True, drop_last=True)model = RNNSa(300, 2).to(device)print('\nmode原创 2021-10-14 15:22:45 · 12269 阅读 · 1 评论 -
Pytorch学习笔记(1)——手把手教你从0开始搭建个自己的神经网络
本文参考的是《动手学深度学习》(PyTorch版),链接在下面。由于照着网站上的代码敲一遍自己印象也不是很深刻,所以我整理了该书本中的内容,整理了自己的思路梳理了一遍。希望该文章能够对初学者的你来说有所帮助。同时由于我也是第一次用torch写代码,可能会有许多疏漏,如果有错误,希望各位能够指正。目录0 代码目的1 数据集创建2 神经网络搭建流程3 从0搭建一个线性回归神经网络3.1 参数定义3.2 模块定义3.2.1 神经网络构建3.2.2 损失函数定义3.2.3 优化器定义3.3 模型训练3.3.1.原创 2021-09-16 10:42:17 · 1146 阅读 · 0 评论