NLP
zhenghao0114
这个作者很懒,什么都没留下…
展开
-
language model and RNN
本文首先介绍基于n-gram的语言模型,然后引出RNN模型一、基于n-gram的语言模型 语言模型:计算一个词汇序列出现的概率 (a language model computes a probability for a sequence of words: P(w_1, w_2,…, w_T)语言模型的作用: 1. word ordering p(the cat is sm...原创 2018-05-20 16:29:32 · 659 阅读 · 0 评论 -
基于神经网络模型的释义识别、语义文本相似性、自然语言推理和问题回答
本文是论文 Neural Network Models for Paraphrase Identification, Semantic Textual Similarity, Natural Language Inference, and Question Answering 的笔记摘要 在本文中,我们分析了句子对建模的几种神经网络设计(及其变体), 并在八个数据集中比较它们的性能,包括释义...原创 2018-06-21 08:57:11 · 8581 阅读 · 0 评论 -
论文笔记Baseline Needs More Love:On Simple Word-Embedding-Based Models and Associated Pooling Mechanisms
摘要 在NLP的文本序列相关的任务中,深度学习的方法被广泛使用。但是深度学习模型的参数多、计算量大,所以不易于训练。对于深度学习模型的效果,也缺乏严格的研究。在这篇文章中,我们对两种方法进行对比,即简答的、基于word-embedding、包含了pooling操作的SWEMs,以及基于word-embedding的 CNN/RNN模型。出人意料的是,在大部分任务中,SWEMs的效果能够打平甚至超...原创 2018-06-19 14:04:42 · 2218 阅读 · 0 评论 -
序列标注任务中的CRFs和LSTMs
本文先简要对比CRF和LSTM模型在序列标注任务中的效果,然后以医疗文本实体识别为例,来介绍CRF和LSTM的应用。 ----------一、CRF和LSTM的对比 1.CRF在小数据集上会有相对较好的表现,而LSTM这样的深度学习模型在数据足够的情况下可以beat CRF; 2.CRF和LSTM经常搭配使用,这种框架已经成为主流; 3.LSTM经...原创 2018-07-18 23:39:06 · 1321 阅读 · 0 评论 -
概率图模型
本文主要介绍HMM和CRF两种模型。一、HMM模型 我们以序列标注为例来引入HMM模型。 我们怎么产生一个句子,方法可以是先根据语法产生一个词性序列,然后由每个词性产生一个词(借助词典,这个词典是词性到词的映射,一个词性对应多个词)。如下示意图 这里我们就有了词序列和词性序列的pair,我们要研究这一对pair出现的概率 计算x和y的联合概率, ...原创 2018-07-13 14:36:34 · 460 阅读 · 0 评论 -
文本分类方法综述
本文主要总结文本分类的方法。 文本分类的本质是文本相似性的度量、计算。原创 2018-07-31 15:13:17 · 7064 阅读 · 0 评论