- 博客(5)
- 收藏
- 关注
RSS订阅原创 迟到的transformer encoder代码详解
前言与传统序列模型不同，transformer的创新点在于能够捕捉语义全局信息(同时通过position embedding考虑到了序列之间的位置关系)、能够并行化计算…想通过本文的代码层面的记录，让我和大家一眼就可以知道(或者记起)transformer模型的架构以及实现方法。但背后究竟是什么原理，本文没有深究。从“TransformerEncoder” 类说起这个类实现了transformer的encoder的所有功能:word_embedding(1) + position_embeddi
2020-09-24 00:28:33
7424
原创 tensorboard使用
文章目录正文参考正文创建runsfrom torch.utils.tensorboard import SummaryWriter# default `log_dir` is "runs" - we'll be more specific herewriter = SummaryWriter('runs/fashion_mnist_experiment_1')2.cd到runs外的目录下，命令行执行????复制????的网址打开:增加图片# get some ra
2020-09-23 09:46:47
188
原创 torch保存、读取模型
方法一:将整个模型保存、读取:torch.save(model, PATH)model = torch.load(PATH)方法二:仅保存模型的state_dict()、读取:torch.save(model.state_dict(), PATH)state_dict = torch.load(PATH)这时仅读取了state_dict，还需要:new_model.load_state_dict(torch.load(PATH)) # 其中的new_model是新初始化的模型..
2020-09-23 09:04:08
1705
原创 pytorch规范化训练过程(Mnist分类任务)
前言:之前的一个暑假跟着师兄做了一些任务，开学了发现自己成了一名代码搬运工。就比如dataloader封装环节，我自己还是写不出，所以借着pytorch综合实践上机课的机会，想重新学一学pytorch。文章是参照pytorch官网的教程WHAT IS TORCH.NN REALLY？，将最后的mnist分类任务过程做了整合。正文:第一步:下载mnist数据集from pathlib import Pathimport requestsimport pickleimport gzipDATA
2020-09-16 18:25:28
353
原创 nn.Conv1d\nn.Conv2d以及groups\dilation参数的理解
nn.Conv1d代码:nn.Conv1d(in_channels = 16, out_channels = 16, kernel_size = (3,2,2), stride = (2,2,1), padding = [2,2,2])如果输入为:x = torch.randn(10,16,30,32,34)则:10代表:batch_size16代表:输入的通道数30，32，34代表图片(或其他)的大小那么经过这个nn，输出的规格为[10,16,16,18,37]公式如下:d(
2020-09-16 15:54:33
12155
9
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人