自然语言处理课程实验
-meteor-
这个作者很懒,什么都没留下…
展开
-
NLP实验五:形态分析
请实现以下有限自动机的状态转移过程,通过它的状态转移过程可以识别happy的原型, 比较级happier, 最高级happiest,可以将单词的比较级和最高级转换为“原型+后缀”的形式,进行单词形态的还原,其中为输入输出标签对,即输入i不仅进行状态转移,同时会输出y,可以理解为把i转换为y,另外ε为空输入,即不需要输入,可以输出+,可以理解为这一步转移不需要识别字符,直接输出+。状态转移过程需要自己实现。图1 happy的状态转移过程操作系统:macOS Monterey 12.4IDE:CLion原创 2022-07-01 17:39:14 · 358 阅读 · 0 评论 -
NLP实验四:汉语分词
利用人民日报语料库或自己构建的语料库(30词以上)作为词典,任选五个句子,并基于正向最大匹配算法和最短路径法分别对这五个句子进行分词,并分别计算分词结果的正确率,召回率和F-测度值。输出句子,基于两种算法的分词结果和其对应的评价指标值。操作系统:macOS Monterey 12.4IDE:CLion 语言:C++中文编码:UTF-8...原创 2022-07-01 17:36:58 · 800 阅读 · 0 评论 -
NLP实验二:二元文法模型
熟练掌握语言模型的基本概念,深入理解n 元文法(n-gram)模型。熟练掌握参数估计的方法,实现在语料库中对句子中的词进行词频统计,输出句子的出现概率。附加:使用代码实现数据平滑。用免费的中文分词语料库,如人民日报语料库PKU,使用语料库中的常见词编写一个句子,使用二元语法(即每个词只与和它相邻的前一个词有关)在语料库中对句子中的词进行词频统计,输出句子的出现概率。举例:假设语料为:\langleBOS\ket 商品 和 服务 \langleEOS\ket\langleBO\mathrm{\ }原创 2022-07-01 17:33:52 · 1105 阅读 · 0 评论 -
NLP实验一:形式语言和自动机
掌握有限自动机的基本概念掌握有限自动机与正则文法的联系,并设计程序实现有限自动机,判断字符串是否被接受请设计程序实现如下有限自动机, 并且输入三个不同的字符串, 对字符串进行合法性检测 (即判断字符串中的字符是否在输入符号集中), 之后由有限自动机判断字符串是否被接受。状态集: \left{q_0,q_1,q_2,q_3\right} (可用其他字符代替)输入符号集: {0,1}初始状态: q_0终止状态: q_0状态转移函数:开始...原创 2022-07-01 17:29:39 · 647 阅读 · 0 评论