nlp
曾德天的博客
2019年12月至今于国防科大计算机学院攻读博士学位,主要研究方向为视觉与强化学习方向。
2018年5月至2019年12月于湖南蚁坊软件研究院工作,担任大数据研究员,主要负责文本分类、图片文字识别等工作。
展开
-
bert改进模型梳理
原创 2019-12-17 13:32:29 · 716 阅读 · 0 评论 -
使用keras进行文本分类
随着keras被集成到tensorflow的核心代码库,其使用也越来越广泛。本文中将介绍keras进行文本分类的过程。先上一段keras代码,可以看到keras只需要20多行代码就完成了lstm文本分类。其中使用了imdb数据集(链接:https://pan.baidu.com/s/1-zp38W1D-2NoCY5sIuJ5uA 提取码:45a8)。 from keras.preprocessin...原创 2019-02-27 16:52:53 · 1325 阅读 · 0 评论 -
EMLO词向量
引言 本文提出了一种提取深层次语义特征的词向量的方法,该方法是通过一个在大规模语料库上预训练得到的模型来提取词向量。通过本文方法提取到的词向量效果较好,可用于多种类型的NLP任务。 文中采用了一种名为biLM的模型,该模型是一种“双向”的模型。 假设我们有...原创 2019-03-06 08:57:25 · 2895 阅读 · 0 评论 -
openai-GPT模型
引言 一个对文本有效的抽象方法可以减轻NLP对有监督学习的依赖。目前大多数深度学习方法依靠大量的人工标注信息,这限制了在很多领域的应用。此外,即使在可获得相当大的监督语料情况下,以无监督学习的方式学到的表示也可以提供显着的性能提升。到目前为止,最引人注目的证据是广泛使用预训练词嵌入来提高一系列NLP任务的性能。 结构 OpenAI-GPT提出一种半监督的方式来处理语言理解的任务。使用非监督的预训...原创 2019-03-16 14:03:15 · 9659 阅读 · 0 评论