NLP
Tianweidadada
一颗执着的心,一个平庸的梦。
展开
-
Bert系列学习之Transformer(一)
本文首先介绍了NLP中传统的RNN、Word2vec存在的弊端。接着对Transformer的架构、计算过程、多头机制、堆叠等细节进行介绍。原创 2020-06-04 17:04:22 · 732 阅读 · 0 评论 -
Pytorch 中 LSTMCell介绍
LSTM 和 LSTMCell的关系很显然,LSTMCell是组成LSTM整个序列计算过程的基本组成单元,也就是进行sequence中一个word的计算LSTMCellinput_size: word embedding dimhidden_size: hidden_dimParametersexamples:""" input_size:10 equals to (...原创 2019-11-11 11:25:29 · 6630 阅读 · 1 评论 -
深度学习中mask技巧的使用
需求:我门在做NLP任务的时候,因为需要补齐每个句子而填充很多PAD(PAD值往往是0),但是我们在后续处理通常是不需要这些无用的填充(例如求损失(2D),或者attention(3D)得到句子级别表示的词向量的时候去掉无用词向量)。对于二维的:例如我们有个(batch_size, seq_len)的矩阵,我们知道每个seq_len中有效词实际长(即去除PAD)def Sequenc...原创 2019-10-30 12:05:16 · 3482 阅读 · 0 评论 -
tensorflow-gpu 安装 tensorflow1.12 + CUDA 9.0 + cudnn 7.5 同时安装gpu版本与cpu版本
现在 windows10 支持 pip install tensorflow-gpu 直接安装一、安装tensorflow-gpu但是需要注意:1、电脑要支持 CUDA(检查自己的GPU看支持到哪个版本,GTX960M支持9.0)2、需要下载cudnn,这个深度学习加速库,并把cudnn下面每一项放到CUDA对应目录可能出现的问题:1、找不到DLL的情况这个问题可...原创 2019-04-28 10:38:32 · 3411 阅读 · 0 评论