![](https://img-blog.csdnimg.cn/20201014180756930.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
人工智能
Young Panda
初来乍到,请多多指教
展开
-
在显存不足时,增加batch size的方法
问题:如何在显存不足的情况下,增加batch-size?换言之,如何增加batch-size而无需扩大显存?思路:将batch数据,分为多个mini-batch,对mini-batch计算loss,再求和,进行反向传播。这样内存只占用mini-batch大小的数据,用时间换空间。pytorch实现:import torchfrom sklearn import metricsfrom torch import nnimport torch.nn.functio..原创 2020-12-05 01:49:22 · 5101 阅读 · 6 评论 -
torch训练模板
如题from text_semantic.model import TextBiLSTMfrom text_semantic.dataset import MyDatasetfrom text_semantic.config import TEMP_PATH, RECORD_PATHimport timeimport torchimport numpy as npfrom torch import nnfrom torch.utils.data import DataLoader.原创 2020-07-11 11:36:16 · 578 阅读 · 0 评论 -
pytoch常用
三角函数的位置编码(原始Transformer)def get_pos_embedding(seq_len, dim): import math vectors = [[.0 if i % 2 == 0 else 1. for i in range(dim)], [math.sin(1. / math.pow(10000., (i / dim))) if i % 2 == 0 else math.cos(1. / math.原创 2020-07-11 11:35:32 · 258 阅读 · 0 评论 -
NLP-文本分类实战-Text Level GNN-20newsgroup
Text Level Graph Neural Network for Text Classification(https://arxiv.org/pdf/1910.02356.pdf)一、文章概述1.1 模型图图1:单一文本的图形结构“他为您感到非常骄傲。” 为了便于显示,在此图中,我们为节点“非常”设置了p = 2(节点和边用红色表示),而其他节点设置了p = 1(蓝色表示)。 在实际情况下,会话期间的p值是唯一的。 图中的所有参数均来自全局共享表示矩阵,该矩阵显示在图的底部。1.2原创 2020-07-08 10:56:36 · 1263 阅读 · 1 评论 -
文本分类论文及pytorch版复现(五):TextLevelGNN
Text Level Graph Neural Network for Text Classification一、模型图示:定义:消息传递机制:分类器:损失函数:二、代码from torch import nn, tensorimport torch.nn.functional as Fimport numpy as npimport tor...原创 2020-03-30 23:52:45 · 1456 阅读 · 1 评论 -
文本分类论文及pytorch版复现(四):TextGCN
Graph Convolutional Networks for Text Classification一、模型图示:图的定义:二、代码import torchimport numpy as npimport torch.nn.functional as Ffrom torch import nn, tensorfrom textgcn.config i...原创 2020-03-30 23:47:19 · 4011 阅读 · 7 评论