![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
预处理
文章平均质量分 71
热心市民小石_
这个作者很懒,什么都没留下…
展开
-
pytorch embedding 理解
可见知乎之前由于懒且不重视没思考embedding,故近期实战对其有些“误解”。害,可见这都是之前欠下的债啊,得补上!小白记录贴,仅供参考~从pytorch源码里简单找了找,并没有找到对embedding有直观解释的代码,故转向tensorflow。不管什么框架,原理得是一样的吧~对embedding追根溯源,发现主要包括两部分:对input[batch_size, seq_len]进行one-hot编码[batch_size, vocab_size]; 将one-hot编码后的矩阵和we原创 2021-03-13 21:14:12 · 569 阅读 · 0 评论 -
Transformer-self attention
详见知乎~感恩~小白记录贴,侵删~感恩Encoder包括Multi-head self attention,Skip connection,LayerNorm,FFself-attention之前看过一位老师说transformer在长文本上效果没有RNN好, 针对这一问题, 这篇文章做了相关阐述----Why Self-Attention? A Targeted Evaluation ofNeural Machine TranslationArchitectures, 中文版是为什原创 2021-03-07 14:51:47 · 178 阅读 · 0 评论 -
CUDA error: device-side assert triggered解决方案
问题:error–CUDA error: device-side assert triggered先来说问题的根本原因:超出限制!一、问题背景model:TextCNN( (embedding): Embedding(199269, 200) (convs): ModuleList( (0): Sequential( (0): Conv2d(1, 100, kernel_size=(3, 200), stride=(1, 1)) (1): ReLU().原创 2021-02-17 13:44:14 · 3510 阅读 · 0 评论 -
word2vec(gensim) 和 torchText
word2vec(gensim) 和 torchText知乎原文一、gensim-word2vec/GLoVe方法一:切词之后直接将二维句子数据输入到gensim的word2vec模型中from gensim.models import word2vec# 引入数据集raw_sentences = ["the quick brown fox jumps over the lazy dogs","yoyoyo you go home now to sleep"]# 切分词汇sentences=原创 2021-02-04 21:55:52 · 676 阅读 · 2 评论