深度学习----词向量历史和发展现状解说

小编看了大量的文档,觉得一下文章写得最好

词向量发展篇:
https://blog.csdn.net/m0_37565948/article/details/84989565
内容:共现矩阵-SVD-NNLM-Word2Vec-Glove-ELMo

由One-hot编码到BERT词向量发展进程
https://blog.csdn.net/miangangzhen/article/details/85318096

word2vec中的模型解说
https://blog.csdn.net/u012762419/article/details/79366052

word2vec升级版GloVe解说
https://nlp.stanford.edu/projects/glove/


补充
BERT
为了弥补ELMo的不足,BERT真正实现了双向语言模型。

训练过程:输入句子 - embedding层(768) - position_embedding层(768) - transformer层(768) * 12 - masked_lm层 - next_sentence层
预测过程:输入句子 - embedding层(768) - position_embedding层(768) - transformer层(768) * 12

ELMO网络结构

训练过程:输入句子 - embedding层(512) - 双向lstm层(2512) - 双向lstm层(2512) - softmax层(vocab_size)
预测过程:输入句子 - embedding层(512) - 双向lstm层(2512) - 双向lstm层(2512) - 拼接前三层各自的输出(3*1024

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值