深度学习(deep learning)
SinGaln
这个作者很懒,什么都没留下…
展开
-
华为NEZHA预训练模型中的Relative Position与self_attention详解
文章目录前言前言最近读了一下华为NAZHA预训练模型,该模型的主要创新之处在于在Transformer阶段加入了Relative Position Embedding(相对位置编码),具体的是在Q*V计算得到的attention_scores后加入了Key的Relative Position,在计算得到的context 也加入了Value的Relative Position,详情请看代码。。小编已经对这部分代码进行了注释,主要注释了各个阶段的维度变化,这样对于小白来说代码读起来比较轻松。直接上代.原创 2021-04-25 14:57:07 · 1197 阅读 · 0 评论 -
利用GPT2训练中文闲聊模型
利用GPT2模型来做一个小说生成器最近看了一下GPT2模型,看到很多博主都用来写诗歌,做问答等,小编突然萌生一个想法,利用GPT2来训练一个小说写作器。各位,敬请期待,等小编的小说上架了,欢迎来看!!文章目录利用GPT2模型来做一个小说生成器前言一、小说数据的构建二、模型搭建总结前言本来想用清源CPM预训练模型来进行的,可惜硬件条件不够,只能用中GPT模型来训练一个专门写小说的模型了。硬件条件好的小伙伴,推荐你们使用CPM来做,看别人做的效果还是不错的,清源CPM的模型有4.47G,小伙伴们量原创 2021-04-12 17:10:15 · 3113 阅读 · 2 评论 -
利用特定领域模型训练Bert模型
目录前言一、预训练模型思路?二、数据处理1.Token总结前言最近刚完成医疗电子病历模型的预训练,经过测试效果还不错,相比于原生Bert在序列标注任务和文本分类任务中提升了大约2个点,让小编也理解了Don’t Stop Pretraining: Adapt Language Models to Domains and Tasks, ACL2020的真谛,真的是这样的!!一、预训练模型思路? 对于预训练模型,我们通常想到的是Bert,Albert,Robeta等,这些预训练模型一次又一次的对各种原创 2021-04-07 17:55:38 · 2738 阅读 · 2 评论 -
transformer的pytorch实现(可以根据自己的需求进行一些小trick)
根据自己对transformer的理解写的一个代码,使用时只需实例化Positional_Encoding类与Encoder类,使用多层Encoder时,可以设置Encoder循环的次数。# coding = utf-8import torchimport numpy as npimport torch.nn as nnimport torch.nn.functional as F# Scaled dot-product attentionclass Scaled_Dot_Product_原创 2020-12-21 10:04:05 · 634 阅读 · 0 评论 -
pytorch实现的TextCNN(Dataset, DataLoader的使用)
主要是Dataset, DataLoader的使用(1)数据处理,生成Batch和向量化词表import torchimport numpy as npfrom tqdm import tqdmfrom torch.utils.data import Dataset, DataLoadertokenizer = lambda x: [y for y in x]UNK, PAD = '<UNK>', '<PAD>' # 未知字,padding符号def buil原创 2020-11-24 09:45:34 · 1199 阅读 · 2 评论 -
强化学习(DQN)Pytorch实现
直接上代码:#coding = utf-8import torchimport torch.optim as optimfrom torch.autograd import Variableimport torch.nn.functional as Fimport torch.nn as nnimport numpy as npimport gym#parametersBa...原创 2019-07-10 14:35:30 · 3914 阅读 · 1 评论 -
基于pytorch的Mnist数据集进行分类(CNN,LSTM)
本项目是以pytorch为框架进行mnist图像分类任务:CNN:#coding = utf-8import torchimport torch.nn as nnfrom torch.autograd import Variableimport torch.utils.data as Dataimport torchvisionimport matplotlib.pyplot as...原创 2019-07-10 11:31:40 · 9057 阅读 · 1 评论 -
AutoEncoder(自编码:以Mnist数据集为例)
本例以pytorch框架进行实验:#coding = utf-8import torchimport torch.nn as nnimport torch.utils.data as Dataimport torchvisionimport torch.optim as optimimport matplotlib.pyplot as pltfrom mpl_toolkits.mp...原创 2019-07-10 11:26:59 · 3046 阅读 · 1 评论 -
Pytorch 初学---神经网络线性回归以及模型保存
import torchimport torch.nn as nnimport torch.optim as opfrom torch.autograd import Variablex = Variable(torch.Tensor([[1,2],[3,4],[4,2]]),requires_grad = False)y = Variable(torch.Tensor([[3],[...原创 2019-04-30 12:45:37 · 906 阅读 · 0 评论 -
tensorflow分类任务MNIST数据集
import tensorflow as tfimport numpy as npfrom tensorflow.examples.tutorials.mnist import input_dataimport matplotlib.pyplot as pltmnist = input_data.read_data_sets('MNIST_data/',one_hot=True)bat...原创 2019-04-09 14:11:23 · 355 阅读 · 1 评论 -
mxnet实现softmax regression(多层感知机)
'coding = utf-8'import mxnet.ndarray as ndfrom mxnet import gluonimport matplotlib.pyplot as pltfrom mxnet import ndimport sysfrom mxnet import autograddef transform(data,label): return da...原创 2018-09-15 10:34:19 · 693 阅读 · 0 评论 -
mxnet实现线性回归(linear regression)
采用mxnet实现线性回归算法'coding = utf-8'import mxnet.ndarray as ndfrom mxnet import autogradimport random#数据的生成1000*2num_inputs = 2num_examples = 1000ture_w = [2,-3.4]ture_b = 4.2x = nd.random_no...原创 2018-09-14 16:41:37 · 721 阅读 · 0 评论 -
mxnet深度学习框架的求导
mxnet深度学习框架是一个很优秀的框架,其中包括了很多的模型。'coding = utf-8'import mxnet.ndarray as ndimport mxnet.autograd as ag#对f = 2 * (x ** 2)求关于x的导数,我们先创建变量x,并赋初值x = nd.array([[1,2],[3,4]])#创建一个矩阵xx.attach_grad()#...原创 2018-09-14 15:52:05 · 438 阅读 · 0 评论