![](https://img-blog.csdnimg.cn/20201014180756925.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
自然语言
文章平均质量分 64
比奇堡咻飞兜
我很丰富,无法简介
展开
-
作业二:使用前向/后向算法实现中文分词器|自然语言
具体的前向、后向算法可见此链接。源代码import re#前向算法def MMseg_cut(sentence, dictA): # sentence:要分词的句子 #dictA:机器词典 result = [] #存放分好的词 sentenceLen = len(sentence) #待分词字段长度 n = 0 maxDictA = max([len(word) for word in dictA]) #取词典中最长词条的字符长度原创 2021-11-19 21:14:41 · 1176 阅读 · 4 评论 -
规则分词法|自然语言
写在前面对于中文来说我们需要使用一些手段对其进行分词,再不同的语境可能会有不同划分方法。目前有基于规则分词、基于统计分词、基于理解分词等等。下面我们介绍的是基于规则分词的内容。分别为正向最大匹配法、逆向最大匹配法、双向最大匹配法。它们的基本思想很类似,所以只着重介绍正向最大分词法。1.正向最大匹配法流程∙\bullet∙ 记录机器词典中最长词条的字符数为m。∙\bullet∙ 从左到右取待切分语句的m个字符作为匹配字段。∙\bullet∙ 查找词典进行匹配,匹配成功则将匹配字段作为一个词切出来原创 2021-10-29 19:56:46 · 1437 阅读 · 0 评论 -
数据平滑技术|自然语言
目录写在前面1.加法平滑1.1加1法1.2加法平滑方法2.古德-图灵(Good-Turing)估计法3.回退平滑(Katz回退法)4.线性插值平滑(Jelinek-Mercer)写在前面∙\bullet∙ 因为对于N-gram模型来说,由于语料库过小或者词语过于专业可能会出现概率为0的情况。但是这个词语肯定会有出现的概率不可能为0,为了解决这类零概率问题,引入了平滑技术。∙\bullet∙ “平滑”处理的基本思想是“劫富济贫”,即提高低概率降低高概率,尽量使概率分布趋于平均。1.加法平滑1.1原创 2021-10-19 17:38:04 · 1518 阅读 · 0 评论 -
作业一:训练Bigram模型并预测句子概率|自然语言
目录1.实验内容2.思路3.python代码4.结果1.实验内容∙\bullet∙ 基于人民日报标注语料(见附件),训练一个Bigram语言模型,并预测任意给定语句的语言概率。(中文分词可以采用Jieba, SnowNLP, PkuSeg, IK Analyzer, HanLP等)∙\bullet∙ 附件部分内容:2.思路∙\bullet∙ 由于词已经分好,那么训练模型只需要计算每个词的概率以及两个词组的共同概率,这里我使用正则表达式来提取每个词,然后使用字典存储它们的频数。∙\bull原创 2021-10-23 19:30:00 · 5294 阅读 · 8 评论 -
基于正则表达式的词行词法分析|自然语言处理
目录1.任务一:邮箱地址和网址提取1.1任务描述1.2代码2.任务二:密码提取2.1任务描述2.2代码1.任务一:邮箱地址和网址提取1.1任务描述∙\bullet∙ 实现基于正则表达式的字符串抽取,完成对 string文本的邮箱地址和网址,并按下面格式输出。测试输入{\color{Violet}测试输入}测试输入(1)我的邮箱:nlp@nudt.com(2)please click https://www.educoder.net测试输出{\color{Violet}测试输出}测试输出原创 2021-10-09 20:30:00 · 1528 阅读 · 0 评论 -
语料库与语言知识库
目录1.包含内容1.1大规模语言数据1.2NLP中的知识库2.语料库2.1定义2.2类型2.3典型语料库3.词汇知识库3.1WordNet3.1.1介绍3.1.2四种语义关系3.1.3应用3.2HowNet(知网)4.思维导图1.包含内容1.1大规模语言数据∙\bullet∙ 模型训练参数∙\bullet∙ 测评标准1.2NLP中的知识库∙\bullet∙ 词汇语义库∙\bullet∙ 词法、句法规则库∙\bullet∙ 常识库等2.语料库2.1定义指经科学取样和加工的大规模电子文原创 2021-09-17 19:35:44 · 854 阅读 · 0 评论