![](https://img-blog.csdnimg.cn/20201014180756928.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
预训练模型
预训练模型 以及量级较重的模型, 像BERT GPT等以及相关改进模型
微知girl
我是NLP相关方向研究生,小白一枚,梦想自己有一天能混成业界大牛,文章或代码有任何错误欢迎指出,不胜感激~ 如果觉得对您有用请关注点赞,(#^.^#) 希望大家能一起探讨相关方面问题,互相学习,互相进步,(●'◡'●)~~
展开
-
预训练模型
文本表示/词向量相关博客文本表示(一)—— word2vec(skip-gram CBOW) glove, transformer, BERT文本表示(二)—— word2vec 词向量训练代码文本表示(三)—— fasttext 词向量调用代码相似文本和文本表示 (链接总结)BERT相关深度学习之BERT详解BERT(一)—— BERT transformer attention 详解BERT(二)——BERT 缺陷BERT(三)——BERT 改进BERT_M..原创 2021-03-04 17:48:19 · 165 阅读 · 1 评论 -
相似文本和文本表示 (链接总结)
列一下我之前研究的文本相似相关的一些博文文档相似度算法 Simhash语义相似度匹配(一)—— DSSM模型语义相似度匹配(二)—— ESIM模型sentence transformer另外,很多文本相似也可以通过句向量余弦相似度计算,相关文本表示博文有:文本表示(一)—— word2vec(skip-gram CBOW) glove, transformer, BERT文本表示(二)—— word2vec 词向量训练代码文本表示(三)—— fasttext 词向量调..原创 2021-03-04 14:05:23 · 196 阅读 · 1 评论 -
UniLM解读
UniLM是一种语言模型,类似BERT,但是比BERT优的点在哪里,它不仅能很好处理NLU的问题,也能很好处理NLG的问题,可以解释为一种既能阅读又能自动生成的预训练模型。一、概述UniLM,(统一预训练语言模型),对应论文:Unified Language Model Pre-training for Natural Language Understanding and GenerationUniLM 是在微软研究院在BERT的基础上,最新产出的预训练语言模型,被称为统一预训练语言模型。使用原创 2020-11-24 12:43:13 · 6111 阅读 · 0 评论 -
BERT(三)——BERT 改进
先都列出来,有时间再详细整理BERT-BaseBERT-LargeBERT-wwmSpanBertSpanBert:对 Bert 预训练的一次深度探索DistillBERTXLNET飞跃芝麻街:XLNet 详解①AR AE方式结合,通过随机取一句话排列的一种,然后将末尾一定量的词给“遮掩”(和 BERT 里的直接替换 “[MASK]” 有些不同)掉,最后用 AR 的方式来按照这种排列方式依此预测被“遮掩”掉的词。②在 BERT 这样的位置信息+内容信.原创 2020-12-25 22:28:03 · 984 阅读 · 0 评论 -
BERT(二)——BERT 缺陷
BERT有什么局限性?从XLNet论文中,提到了BERT的两个缺点,分别如下:BERT在第一个预训练阶段,假设句子中多个单词被Mask掉,这些被Mask掉的单词之间没有任何关系,是条件独立的,然而有时候这些单词之间是有关系的,比如”New York is a city”,假设我们Mask住”New”和”York”两个词,那么给定”is a city”的条件下”New”和”York”并不独立,因为”New York”是一个实体,看到”New”则后面出现”York”的概率要比看到”Old”后面出现”Yo原创 2020-12-25 18:52:25 · 8912 阅读 · 0 评论 -
BERT(一)—— BERT transformer attention 详解
attentionhttps://zhuanlan.zhihu.com/p/43493999https://zhuanlan.zhihu.com/p/27769667 attention 代码https://www.zhihu.com/question/68482809 attention 原理https://zhuanlan.zhihu.com/p/31547842 √https://zhuanlan.zhihu.com/p/53682800 attention +transform...原创 2020-11-24 12:41:16 · 351 阅读 · 0 评论