PyTorch学习与实践
文章平均质量分 83
pytorch学习笔记
梆子井欢喜坨
这个作者很懒,什么都没留下…
展开
-
huggingface/transformers数据预处理
参考资料本篇博客基于官方教程。翻译 2022-08-21 23:59:01 · 951 阅读 · 0 评论 -
BERT实战(1):使用DistilBERT作为词嵌入进行文本情感分类,与其它词向量(FastText,Word2vec,Glove)进行对比
这次根据一篇教程Jay Alammar: A Visual Guide to Using BERT for the First Time学习下如何在Pytorch框架下使用BERT。主要参考了中文翻译版本教程提供了可用的代码,可以在colab或者github获取。1. huggingface/transformersTransformers提供了数千个预训练的模型来执行文本任务,如100多种语言的分类、信息提取、问答、摘要、翻译、文本生成等。文档:https://huggingface.co/tr原创 2021-07-09 14:33:22 · 6698 阅读 · 0 评论 -
huggingface/transformers快速上手
参考资料现在做NLP方面的研究实在离不开预训练语言模型,尤其是BERT。huggingface的transformers包是目前使用BERT最主流最方便的工具之一,写一遍博客记录如何快速上手。本篇博客使用的transformers版本为 4.15.0。原创 2021-08-23 17:27:51 · 3220 阅读 · 0 评论 -
Ubuntu SMP 16.04.1使用huggingface/transformers 4.8.2报错 version `GLIBC_2.29‘ not found
在GPU服务器上使用新版的transformers包报了一个错ImportError: /lib/x86_64-linux-gnu/libm.so.6: version `GLIBC_2.29' not found (required by /home/tangyi/miniconda3/envs/pytorch_gpu/lib/python3.7/site-packages/tokenizers/tokenizers.cpython-37m-x86_64-linux-gnu.so)googl原创 2021-07-16 19:45:02 · 1673 阅读 · 2 评论 -
根据PyTorch学习CONV1D
官方文档链接torch.nn.Conv1d(in_channels, out_channels, kernel_size, stride=1, padding=0, dilation=1, groups=1, bias=True, padding_mode='zeros')参数:in_channels (int) – 输入图片的通道数量。在文本分类中,即为词向量的维度out_channels (int) – 卷积产生的通道。有多少个out_channels,就需要多少个1维卷积kernel_原创 2021-05-29 16:29:53 · 1610 阅读 · 2 评论 -
PyTorch学习笔记(1)autograd和backward
目录1. 一个线性回归的例子2. 使用自动求导3. 优化器1. 一个线性回归的例子例子与代码来自 PyTorch 官方教程书《Deep learning with PyTorch》Deep-Learning-with-PyTorch-Chinese假设你去了一些鲜为人知的地方旅游,然后带回了一个花哨的壁挂式模拟温度计。这个温度计看起来很棒,非常适合你的客厅。唯一的缺点是它不显示单位。不用担心,你有一个计划。你用自己喜欢的单位建立一个读数和相应温度值的数据集,然后选择一个模型,并迭代调整单位的权重,直原创 2020-10-04 15:42:38 · 691 阅读 · 0 评论 -
PyTorch学习笔记(2)神经网络
这里写目录标题1. PyTorch的nn模块2. nn的子类1. PyTorch的nn模块PyTorch的nn.Module及其子类被设计为可以同时处理多个样本。为了容纳多个样本,模型希望输入的第0维为这个批次中的样本数目。nn中的任何模块都被编写成同时产生一个批次(即多个输入)的输出。 因此,假设你需要对10个样本运行nn.Linear,则可以创建大小为 B x Nin 的输入张量,其中 B 是批次的大小,而 Nin 是输入特征的数量,然后在模型中同时运行图5.7显示了批处理图像数据的类似的情况。原创 2020-10-06 15:08:34 · 489 阅读 · 0 评论 -
PyTorch学习笔记(3)Dataset和DataLoader
李宏毅深度学习网课作业3迟迟做不下去,发现pytorch方面要补的课还是太多utils.data包括Dataset和DataLoader。torch.utils.data.Dataset为抽象类。自定义数据集需要继承这个类,并实现两个函数,一个是__len__,另一个是__getitem__,前者提供数据的大小(size),后者通过给定索引获取数据和标签。__getitem__一次只能获取一个数据,所以需要通过torch.utils.data.DataLoader来定义一个新的迭代器,实现batch读取。原创 2020-10-08 15:22:35 · 1417 阅读 · 1 评论 -
PyTorch学习笔记(4)torchvision
torchvision有4个功能模块:model、datasets、transforms和utils。利用datasets可以下载一些经典数据集,b本次笔记主要记录如何使用datasets的ImageFolder处理自定义数据集,以及如何使用transforms对源数据进行预处理、增强等。1. transformstransforms提供了对PIL Image对象和Tensor对象的常用操作。1)对PIL Image的常见操作如下。Scale/Resize:调整尺寸,长宽比保持不变。CenterC原创 2020-11-20 19:16:47 · 465 阅读 · 0 评论