![](https://img-blog.csdnimg.cn/20200618121925424.png?x-oss-process=image/resize,m_fixed,h_224,w_224)
NLP自然语言处理
总结一些NLP中常见的算法和模型、论文
码小花
这个作者很懒,什么都没留下…
展开
-
bert中文使用总结
可以通过使用transformers库来快速调用bertTransformers是TensorFlow 2.0和PyTorch的最新自然语言处理库。Transformers(以前称为pytorch-transformers和pytorch-pretrained-bert)提供用于自然语言理解(NLU)和自然语言生成(NLG)的最先进的模型(BERT,GPT-2,RoBERTa,XLM,DistilBert,XLNet,CTRL ...) ,拥有超过32种预训练模型,支持100多种语言,并且在Tensor原创 2020-10-13 21:08:20 · 17567 阅读 · 6 评论 -
MT-DNN模型阅读笔记
本文参考博客https://blog.csdn.net/ljp1919/article/details/90269059https://blog.csdn.net/Magical_Bubble/article/details/89517709本文主要记录了阅读论文《Multi-Task Deep Neural Networks for Natural Language Understanding》,MT-DNN是多任务深度神经网络。本文融合了两种方法:多任务学习MTL和语言模型预训练(预训练的双原创 2020-07-09 22:32:32 · 495 阅读 · 0 评论 -
word2vec算法tensorflow实现
word2vec有两种模型,一个是CBOW模型,另一个是Skip-gram模型。那么这里主要用tensorflow实现Skip-gram模型。Skip-gram模型是在已知目标词的前提下预测其上下文。那么skip-gram模型只用到了一个隐藏层,一个输出层,输入及输出标注为初始化的词向量。那么原理如下:1、设定固定的窗口大小来遍历训练文本,构建(中心词,临近词)的关系,使用网络模型来...原创 2019-10-10 17:56:27 · 275 阅读 · 0 评论 -
CS224N依存句法分析
描述语法有两种观点:短语结构文法(上下文无关文法),英文术语是:Constituency = phrase structure grammar = context-free grammars (CFGs)。这种短语语法用固定数量的rule分解句子为短语和单词、分解短语为更短的短语或单词…… 依存结构,用单词之间的依存关系来表达语法。如果一个单词修饰另一个单词,则称该单词依赖于另一个单词。在图...原创 2019-11-13 15:47:36 · 346 阅读 · 0 评论