pytorch
Young Panda
初来乍到,请多多指教
展开
-
2021-01-12
pytorchpacked_rnnimport torchimport torch.nn as nnimport torch.nn.functional as Fimport mathclass Packed(nn.Module): def __init__(self, rnn): super().__init__() self.rnn = rnn @property def batch_first(self): .原创 2021-01-12 23:25:15 · 158 阅读 · 0 评论 -
在显存不足时,增加batch size的方法
问题:如何在显存不足的情况下,增加batch-size?换言之,如何增加batch-size而无需扩大显存?思路:将batch数据,分为多个mini-batch,对mini-batch计算loss,再求和,进行反向传播。这样内存只占用mini-batch大小的数据,用时间换空间。pytorch实现:import torchfrom sklearn import metricsfrom torch import nnimport torch.nn.functio..原创 2020-12-05 01:49:22 · 5129 阅读 · 6 评论 -
堆排序和TOPK问题-java实现
import java.util.Arrays;public class HeapSort { public static void main(String[] args) { int[] nums = new int[]{4, 6, 8, 5, 9}; topK(nums, 3); System.out.println(Arrays.toString(nums)); } # 简历大根堆 public static v.原创 2020-08-19 13:28:38 · 276 阅读 · 0 评论 -
ACL2020 pytorch复现 (TextING) Every Document Owns Its Structure- Inductive Text Classification
一、模型图二、构图方式滑动窗口,捕捉共现边三、消息传递聚合,通过GRU训练。四,读出原创 2020-08-06 21:10:16 · 2647 阅读 · 21 评论 -
NLP-文本分类实战-Text Level GNN-20newsgroup
Text Level Graph Neural Network for Text Classification(https://arxiv.org/pdf/1910.02356.pdf)一、文章概述1.1 模型图图1:单一文本的图形结构“他为您感到非常骄傲。” 为了便于显示,在此图中,我们为节点“非常”设置了p = 2(节点和边用红色表示),而其他节点设置了p = 1(蓝色表示)。 在实际情况下,会话期间的p值是唯一的。 图中的所有参数均来自全局共享表示矩阵,该矩阵显示在图的底部。1.2原创 2020-07-08 10:56:36 · 1294 阅读 · 1 评论 -
文本匹配论文及pytorch版复现(一):DRCN
一、模型1、模型总图2、实施细则二、相关公式1、词表示层:字符卷积cp,静态预训练词嵌入ep(fix),可训练预训练词嵌入ep(tr)fp代表,两句中字是否在另一句中出现,若是为1,若否为02、层次RNN和互注意力机制原始输入x,通过RNN获取隐层表示h,将两句的隐层表示hi,hj通过互注意力机制,获取注意力表示ai,aj3、自动编码器auto-encoder全连接层,将高维度表示转化为低维度表示4、交互层和分类层More specifical原创 2020-05-08 22:08:34 · 1486 阅读 · 1 评论 -
python版本-文本分类流程-英文文本预处理
英文文本预处理单词原型word_map = { "i'll": "i will", "it'll": "it will", "we'll": "we will", "he'll": "he will", "they'll": "they will", "i'd": "i would", "we'd": "we would", ...原创 2020-04-03 22:11:15 · 1212 阅读 · 0 评论 -
文本分类论文及pytorch版复现(五):TextLevelGNN
Text Level Graph Neural Network for Text Classification一、模型图示:定义:消息传递机制:分类器:损失函数:二、代码from torch import nn, tensorimport torch.nn.functional as Fimport numpy as npimport tor...原创 2020-03-30 23:52:45 · 1462 阅读 · 1 评论 -
文本分类论文及pytorch版复现(四):TextGCN
Graph Convolutional Networks for Text Classification一、模型图示:图的定义:二、代码import torchimport numpy as npimport torch.nn.functional as Ffrom torch import nn, tensorfrom textgcn.config i...原创 2020-03-30 23:47:19 · 4072 阅读 · 7 评论 -
文本分类论文及pytorch版复现(三):VDCNN
Very Deep Convolutional Networks for Text Classification1、模型2、代码import torchimport torch.nn.functional as Ffrom torch import nn# char-level# embedding_dim=16, SGD, mini-batch=128...原创 2019-12-21 16:54:14 · 622 阅读 · 0 评论 -
文本分类论文及pytorch版复现(二):HAN
Hierarchical Attention Networks for Document Classification一、模型二、代码import torch.nn.functional as Ffrom torch import nnclass SelfAttention(nn.Module): def __init__(self, input_size...原创 2019-12-21 12:07:10 · 2173 阅读 · 6 评论 -
文本分类论文及pytorch版复现(一):TextCNN
Convolutional Neural Networks for Sentence Classification1、模型2、代码import torch.nn.functional as Ffrom torch import nnclass TextCNN(nn.Module): def __init__(self): super(Text...原创 2019-12-21 12:02:24 · 1357 阅读 · 1 评论