Pytorch
文章平均质量分 85
分享记录pytorch框架技术与实现
华师数据学院·王嘉宁
研究方向:深度学习、自然语言处理、知识图谱。
研究兴趣:大语言模型训练与推理、知识增强预训练、Prompt-tuning、小样本学习、问答系统、信息抽取。
展开
-
【HuggingFace轻松上手】基于Wikipedia的知识增强预训练
本文介绍基于entity masking的知识增强预训练语言模型的实现,以及在几个下游任务微调的方法。本文分享核心代码实现和相关数据。原创 2022-06-27 15:12:29 · 3419 阅读 · 3 评论 -
【EasyNLP】带你轻松玩转CLUE榜单
EasyNLP正式发布!EasyNLP是一款基于Pytorch的易用、简单、高效的深度学习NLP开发框架。目前已经正式被CLUE作为官方刷榜baseline工具。原创 2022-06-10 17:08:04 · 916 阅读 · 3 评论 -
NLP常用损失函数代码实现——SoftMax/Contrastive/Triplet/Similarity
NLP常用损失函数代码实现 NLP常用的损失函数主要包括多类分类(SoftMax + CrossEntropy)、对比学习(Contrastive Learning)、三元组损失(Triplet Loss)和文本相似度(Sentence Similarity)。其中分类和文本相似度是非常常用的两个损失函数,对比学习和三元组损失则是近两年比较新颖的自监督损失函数。 本文不是对损失函数的理论讲解,只是简单对这四个损失函数进行了实现,方便在模型实验中快速嵌入损失函数模块。为了能够快速直观地看到损失函数的执原创 2022-03-23 20:19:13 · 3975 阅读 · 2 评论 -
Pytorch单机多卡GPU的实现(原理概述、基本框架、常见报错)
简单介绍pytorch如何基于DDP实现单机多卡GPU并行训练。本文提供简单的数据并行的原理概述,并通过MNIST任务样例给出如何DDP,同时给出DDP的框架。最后给出DDP常见的一些报错(持续更新)。原创 2022-01-21 19:09:50 · 5592 阅读 · 0 评论 -
手写数字识别Mnist的Pytorch实现
手写数字识别Mnist的Pytorch实现注:该内容为校内课程实验,仅供参考,请勿抄袭!源码地址:一、引言(Introduction) 手写数字识别时经典的图像分类任务,也是经典的有监督学习任务,经常被用于测试图像的特征提取效果、分类器性能度量等方面,本文将通过应用机器学习和深度学习算法实现手写数字识别。 图像分类任务是指给定一张图像来对其进行分类,常见的图像分类任务有手写数字识别、猫狗分类、物品识别等,图像分类也是计算机视觉基本的分类任务。而对于手写数字识别任务来说,可以当做图像分类问题,也原创 2020-07-02 23:20:09 · 6969 阅读 · 1 评论 -
Pytorch使用LSTM实现Movie Review数据集情感分析
Pytorch使用LSTM实现Movie Review数据集情感分析 入门Pytorch一周时间,周六试着手写情感分类代码。学过Tensorflow的都知道,其需先生成计算图,还得通过placeholder喂入数据,十分的麻烦,也不容易调试,而pytorch真心是简单上手,最开心的就是Tensorflow不能随时打印中间结果,而Pytorch完美实现了~~啰嗦两句,很建议大家先学习tensor...原创 2020-03-29 01:00:21 · 4057 阅读 · 6 评论 -
pytorch小试
pytorch小试 之前一直使用Tensorflow写程序,今天初学pytorch来实现一个简单的回归模型。回归模型即给定一组样本特征 xxx (相当于超空间中的点),训练一个简单的线性函数来拟合它们 y=wx+by=wx+by=wx+b 。import torchfrom torch.autograd import Variableimport torch.nn as nnimpor...原创 2020-03-22 09:46:30 · 189 阅读 · 0 评论