自然语言处理
文章平均质量分 89
重铸计科荣光我辈义不容辞
这个作者很懒,什么都没留下…
展开
-
TJU自然语言处理(6):词汇获取
TJU自然语言处理(6):词汇获取介绍词汇获取的分类评价方法动词子范畴学习子范畴框架的算法附着歧义概率模型Hindle和Rooth启发算法存在的问题选择倾向Resnik提出的模型语义相似性度量方法:向量空间度量方法度量方法:概率度量方法词汇获取的意义介绍总体目标:设计一种算法和统计技术,通过对大规模文本语料库的挖掘,获取其中词语出现的各类形式,来填补现有机读词典的不足。俗话来说就是人类不断发明着新词,而字典不可能及时收录,这就需要词汇获取,而词汇获取的任务是扩大传统辞典中所包含的词条的信息,完善词条原创 2021-11-02 15:29:04 · 329 阅读 · 0 评论 -
TJU自然语言处理(5):词义消岐
TJU自然语言处理(5):词义消岐定义预备知识有监督学习无监督学习现实情况伪词算法的上界和下界基于贝叶斯分类的词义消歧基于互信息的WSD方法flip-flop算法三级目录定义语义歧义:很多词语具有几个意思或语义,如果将这样的词从上下文中独立出来,就会产生语义歧义。就是必须通过其语境来确定其含义的词汇。比如:生意清淡和口味清淡。语义消岐(WSD):确定一个歧义词的哪一种语义在一个特殊的使用环境中被调用。WSD需要解决的三个问题:如何判断一个词是不是多义词对每个需要进行义项标注处理的多义词,预先原创 2021-11-01 09:50:10 · 592 阅读 · 0 评论 -
TJU自然语言处理(4):搭配
TJU自然语言处理(4):搭配搭配什么是搭配搭配的特征和标准发现搭配的方案频率均值和方差假设检验t检验将t检验应用与搭配判断皮尔逊卡方检验似然比互信息搭配的应用搭配什么是搭配简单的说就是两个或多个词的习惯语言表示。按定义说就是 两个或多个词序列,具有句法和语义单位的特性,并且它的准确无歧义的意思或含义往往不能直接由它的组成部分的意思和含义得出。说白了就是必须一起才能理解真正含义,单独拎出来都不能理解。比如名词短语,动词短语,成语等。搭配的特征和标准通常非复合构词自然语言中,如果不能从原创 2021-10-30 17:41:49 · 176 阅读 · 0 评论 -
TJU自然语言处理复习(3)
TJU自然语言处理复习(3)隐Markov模型及其NLP应用Markvo模型隐Markov模型罐子模型形式化描述隐Markvo模型的三个基本问题及算法评估问题前向算法后向算法隐Markov模型及其NLP应用Markvo模型生活中常见的例子:传染病传播,人口增长等都随机过程可以称为Markvo过程。一个系统有N个状态 S1,S2,···,SN,随着时间推移,系统从某一状态转移到另一状态,设qt为时间 t 的状态,系统在时间 t 处于状态 Sj 的概率取决于其在时间 1 ,2,···,t-1 的状态,原创 2021-10-29 17:43:56 · 181 阅读 · 0 评论 -
TJU自然语言处理复习(2)
TJU自然语言处理复习(2)深度学习基础知识神经元与神经网络激活函数sigmoid函数tanh函数ReLU函数常用的神经网络深度神经网络循环神经网络长短记忆网络深度学习基础知识神经网络是通过对人脑的基本单元——神经元的建模和联接,探索模拟人脑神经系统功能的模型,并研制一种具有学习、联想、记忆和模式识别等智能信息处理功能的人工系统。神经网络的学习是一个过程,在其所处环境的激励下,相继给网络输入一些样本模式,并按照一定的规则(学习算法)调整网络各层的权值矩阵,待网络各层权值都收敛到一定值,学习过程结束。原创 2021-10-24 16:17:53 · 112 阅读 · 0 评论 -
TJU自然语言处理复习(1)
TJU自然语言处理复习(1)什么是自然语言处理?基于规则的自然语言处理基于统计的自然语言处理n-gram语言模型统计语言模型语料库:统计NLP的知识来源搭配NLP的方法论之争基于深度学习的自然语言处理什么是自然语言处理?自然语言是什么?交际的工具,思维的载体。词法和语法组成的符号系统约定俗成的,区别于人工语言(程序设计语言)自然语言处理是什么?自然语言处理是计算机科学领域以及人工智能领域的一个重要的研究方向目的是研究用计算机来处理、理解以及运用人类语言,达到人与计算机之间进行有效通讯。原创 2021-10-24 15:15:58 · 1546 阅读 · 0 评论