![](https://img-blog.csdnimg.cn/20201014180756925.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
国科大nlp(宗老师)
叶落叶子
这个作者很懒,什么都没留下…
展开
-
nlp5-n-gram/语言模型(数据平滑方法
文章目录1.句子的先验概率1.1 n-gram2. 参数估计3. 数据平滑3.1 数据平滑度方法3.1.1加1法3.1.2减 1.句子的先验概率 这个联合概率太小了 窗口越大,共现的可能性越小 参数多 解决:等价类 不看所有的历史信息 只看部分历史信息,但看所有的历史等价 如何划分等价类 将两个历史映射到同一个等价类,当且仅当这两个历史中的最近 n-1 个基元相同,即: 1....原创 2020-01-21 23:33:24 · 674 阅读 · 0 评论 -
nlp4-语料库
文章目录1. 语料库2.建设中的问题3.典型语料库介绍 1. 语料库 语料库(corpus) 语料库(corpus) 就是存放语言材料的仓库 (语言数据库)。 基于语料库进行语言学研究-语料库语言学(corpus linguistics) 根据篇章材料对语言的研究称为语料库语言学 不是新术语:利用语料库对语言的某个方面进行研究,或者发现某些规律性知识。 是新术语:对现行语言学理论进行批评,...原创 2020-01-21 22:55:39 · 650 阅读 · 0 评论 -
nlp3-有限自动机FLandFA
文章目录1形式语言形式语言推导句型、句子、语言文法派生树与二义性有限自动机和正则文法确定的有限自动机DFA不确定的有限自动机NFA有限自动机<=>正则文法 1形式语言 语言:人类所特有的用来表达意思、交流思想的工具,是一种特殊的社会现象,由语音、词汇和语法构成一定的系统。 语言描述的三种途径 穷举法 — 只适合句子数目有限的语言。 语法描述 — 生成语言中合格的句子。 自动机 — ...原创 2020-01-16 14:57:04 · 531 阅读 · 0 评论 -
nlp2-数学基础(信息论,概率论、词义消歧)
文章目录概率论信息论计算熵计算信息熵、条件熵、联合熵波利尼亚语熵率噪声信道模型建立一个翻译词义消歧(WSD贝叶斯最大熵的消歧方法 概率论 在自然语言处理中,以句子为处理单位时一般假设句子独立于它前面的其它语句,句子的概率分布近似地符合二项式分布 贝叶斯决策: max p(x|w1)p(w1)—x可以是语音信号,而w1可以是我们希望得到的对应文字 信息论 熵(自信息) H(...原创 2020-01-15 15:32:18 · 466 阅读 · 0 评论 -
nlp1-介绍
能做什么? 自然语言处理: 如何让计算机能够自动或半自动地理解自然语言文本,懂得人的意图和心声? 如何让计算机实现海量语言文本的自动处理、挖掘和有效利用,满足不同用户的各种需求,实现个性化信息服务? 基本概念 语言学:研究语言的本质、结构和发展规律的科学。 类别 历时语言学 (diachronic linguistics)或称历史语言学 (historical linguist...原创 2020-01-14 15:27:11 · 397 阅读 · 0 评论