NLP
道墟散人
这个作者很懒,什么都没留下…
展开
-
NLP各种语言模型的优缺点比较
持续更新中…1.n-gramn-gram语言模型引入马尔科夫假设,假设当前单词出现的概率只与前n-1个单词有关。常见的unigram、bigram、trigram公式如下:优点:(1) 采用极大似然估计,参数易训练;(2) 完全包含了前 n-1 个词的全部信息;(3) 可解释性强,直观易理解。缺点 :(1) 缺乏长期依赖,只能建模到前 n-1 个词;(2) 随着 n 的增大,参数空间呈指数增长;(3) 数据稀疏,难免会出现OOV的问题;(4) 单纯的基于统计频次,泛化能力差。2.神经网络原创 2020-08-27 10:26:48 · 3929 阅读 · 0 评论 -
传统Seq2Seq模型和Attention机制
https://www.cnblogs.com/DLlearning/p/7834018.html原创 2020-08-25 10:06:12 · 103 阅读 · 0 评论 -
自然语言处理之Transformer
https://zhuanlan.zhihu.com/p/53682800原创 2020-07-15 15:58:05 · 198 阅读 · 0 评论 -
自然语言处理之Attention
深度网络attention泛滥,归根到底就是一个加权求和。https://zhuanlan.zhihu.com/p/59698165原创 2020-06-29 15:04:19 · 130 阅读 · 0 评论 -
自然语言处理之ngram模型
背景介绍N-Gram是一种基于统计语言模型的算法。它的基本思想是将文本里面的内容按照字节进行大小为N的滑动窗口操作,形成了长度是N的字节片段序列。每一个字节片段称为gram,对所有gram的出现频度进行统计,并且按照事先设定好的阈值进行过滤,形成关键gram列表,也就是这个文本的向量特征空间,列表中的每一种gram就是一个特征向量维度。该模型基于这样一种假设,第N个词的出现只与前面N-1个词相关,而与其它任何词都不相关,整句的概率就是各个词出现概率的乘积。这些概率可以通过直接从语料中统计N个词同时出现原创 2020-06-19 16:45:14 · 1414 阅读 · 0 评论