【NLP】最大概率法（负对数相加）

最新推荐文章于 2022-04-29 14:42:33 发布
最新推荐文章于 2022-04-29 14:42:33 发布
阅读量720 收藏 1
点赞数 1
分类专栏： NLP
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_42145681/article/details/111562616
版权

自然语言处理中最大概率法教材算法实现

参考了https://blog.csdn.net/chase1998/article/details/83247192

把概率的相乘转为负对数的相加。

词典的txt：https://pan.baidu.com/s/1ARx3-fetzOmrw2c8mVAK8w

提取码：hts4

import math

def load_dict():
    """
    加载字典
    :return:返回字典==>"词:频率"
    """
    dic_file = open("WordFrequency.txt", 'r', encoding='utf-8')
    freq_dict = {}
    for l in dic_file:
        freq_dict[l.split(',')[0]] = l.split(',')[2].strip()
        #以逗号为分割的字符串的第一部分词的概率，strip()方法移除字符串头尾指定的字符（默认为空格或换行符）
    dic_file.close()
    #print("freq_dict:",freq_dict)
    return freq_dict


def find_word_in_dict(s):
    """
    在字典中查找候选词
    :param s: 输入句子
    :return: 返回字典==>"词:词频|候选左邻词1/候选左邻词2"
    """
    print("========================在字典中查找候选词===================================")
    freq_dict = load_dict()
    result = {}
    for index in range(0, len(s)):  # 遍历所有字
        for wordLen in range(0, len(s) - index):  # 遍历该字的所有可能词
            seg_word = s[index:index + wordLen + 1]
            if seg_word in freq_dict.keys():
                # 找到候选词，找其左邻词
                left_words = ''
                for word_len in range(index, 0, -1):  # 在之前的候选词列表里找左邻词（最大词长开始）
                    for k in result.keys():
                        if s[index - word_len:index] == k.split('-')[1]:
                            left_words += str(index - word_len) + '-' + s[index - word_len:index] + '/'
                # 返回候选词及其语料库词频和候选左邻词
                result[str(index) + '-' + seg_word] = freq_dict[seg_word] + '|' + left_words
                print("result:",result)    
    return result


def cl_probability(words_dict):
    """
    计算累加花费并选择最佳左邻词
    :param words_dict: "词:词花费|候选左邻词1/候选左邻词2"
    :return:返回新字典==>"词:累计花费|最佳左邻词"
    """
    print("===================计算累加花费并选择最佳左邻词==============================")
     
    for k, v in words_dict.items():#items() 方法把字典中每对 key 和 value 组成一个元组
        t1= v.split('|')[0][:-1]
        cost=-math.log(float(t1)*0.01) #取负对数
        left_words = v.split('|')[1]
        words_dict[k] = v.replace(t1, str(cost)).replace('%','')#用负对数替换概率，并且把百分号去掉
        if left_words == '':#无左邻词
            continue
        else:
            left_word = left_words.split("/")
            min_left_c = 10000#每个词的最小左邻词花费初始为10000
            which_word = ''#选择的词
            for num in range(0, len(left_word) - 1):#在每个词的左邻词中寻找最佳左邻词
                t=words_dict[left_word[num]].split('|')[0][:-1]
                curr_left_word_c = float(t)
                if curr_left_word_c < min_left_c:  # 比较当前左邻词的累计花费
                    min_left_c = curr_left_word_c
                    which_word = left_word[num]
            curr_min_c = min_left_c + cost
            #多字符替换：用最小累计花费替换原来的词频,用最佳左邻词替换候选左邻词，去掉%
            words_dict[k] = v.replace(left_words, which_word).replace( str(t1), str(curr_min_c)).replace('%','')  
        print("words_dict:",words_dict,"\n")
    return words_dict


def seg(sentence):
    """
    接收输入，调用函数并输出
    :param sentence:
    :return: 分词后的句子
    """
    words_dict = find_word_in_dict(sentence)
    best_words_dict = cl_probability(words_dict)
    seg_line = ''
    keys = list(best_words_dict.keys())
    key = keys[-1]
    print("========================分词后的句子===================================")
    while key != '':
        seg_line = key.split('-')[1] + '/ ' + seg_line
        key = best_words_dict[key].split('|')[1]
        print("seg_line:",seg_line)
    return seg_line


if __name__ == '__main__':
    #print("概率最大化分词：")
    #input_str = input()结合成分子时
    input_str = "结合成分子时"
    print(seg(input_str))

结果：

========================在字典中查找候选词===================================
result: {'0-结': '0.0037%|'}
result: {'0-结': '0.0037%|', '0-结合': '0.0353%|'}
result: {'0-结': '0.0037%|', '0-结合': '0.0353%|', '1-合': '0.0049%|0-结/'}
result: {'0-结': '0.0037%|', '0-结合': '0.0353%|', '1-合': '0.0049%|0-结/', '1-合成': '0.0006%|0-结/'}
result: {'0-结': '0.0037%|', '0-结合': '0.0353%|', '1-合': '0.0049%|0-结/', '1-合成': '0.0006%|0-结/', '2-成': '0.0423%|0-结合/1-合/'}
result: {'0-结': '0.0037%|', '0-结合': '0.0353%|', '1-合': '0.0049%|0-结/', '1-合成': '0.0006%|0-结/', '2-成': '0.0423%|0-结合/1-合/', '2-成分': '0.0023%|0-结合/1-合/'}
result: {'0-结': '0.0037%|', '0-结合': '0.0353%|', '1-合': '0.0049%|0-结/', '1-合成': '0.0006%|0-结/', '2-成': '0.0423%|0-结合/1-合/', '2-成分': '0.0023%|0-结合/1-合/', '3-分': '0.0312%|1-合成/2-成/'}
result: {'0-结': '0.0037%|', '0-结合': '0.0353%|', '1-合': '0.0049%|0-结/', '1-合成': '0.0006%|0-结/', '2-成': '0.0423%|0-结合/1-合/', '2-成分': '0.0023%|0-结合/1-合/', '3-分': '0.0312%|1-合成/2-成/', '3-分子': '0.0038%|1-合成/2-成/'}
result: {'0-结': '0.0037%|', '0-结合': '0.0353%|', '1-合': '0.0049%|0-结/', '1-合成': '0.0006%|0-结/', '2-成': '0.0423%|0-结合/1-合/', '2-成分': '0.0023%|0-结合/1-合/', '3-分': '0.0312%|1-合成/2-成/', '3-分子': '0.0038%|1-合成/2-成/', '4-子': '0.0010%|2-成分/3-分/'}
result: {'0-结': '0.0037%|', '0-结合': '0.0353%|', '1-合': '0.0049%|0-结/', '1-合成': '0.0006%|0-结/', '2-成': '0.0423%|0-结合/1-合/', '2-成分': '0.0023%|0-结合/1-合/', '3-分': '0.0312%|1-合成/2-成/', '3-分子': '0.0038%|1-合成/2-成/', '4-子': '0.0010%|2-成分/3-分/', '5-时': '0.1043%|3-分子/4-子/'}
===================计算累加花费并选择最佳左邻词==============================
words_dict: {'0-结': '10.20459264532005|', '0-结合': '7.949042501030977|', '1-合': '20.12828290517365|0-结', '1-合成': '0.0006%|0-结/', '2-成': '0.0423%|0-结合/1-合/', '2-成分': '0.0023%|0-结合/1-合/', '3-分': '0.0312%|1-合成/2-成/', '3-分子': '0.0038%|1-合成/2-成/', '4-子': '0.0010%|2-成分/3-分/', '5-时': '0.1043%|3-分子/4-子/'} 

words_dict: {'0-结': '10.20459264532005|', '0-结合': '7.949042501030977|', '1-合': '20.12828290517365|0-结', '1-合成': '22.228343734056217|0-结', '2-成': '0.0423%|0-结合/1-合/', '2-成分': '0.0023%|0-结合/1-合/', '3-分': '0.0312%|1-合成/2-成/', '3-分子': '0.0038%|1-合成/2-成/', '4-子': '0.0010%|2-成分/3-分/', '5-时': '0.1043%|3-分子/4-子/'} 

words_dict: {'0-结': '10.20459264532005|', '0-结合': '7.949042501030977|', '1-合': '20.12828290517365|0-结', '1-合成': '22.228343734056217|0-结', '2-成': '15.717180879948966|0-结合', '2-成分': '0.0023%|0-结合/1-合/', '3-分': '0.0312%|1-合成/2-成/', '3-分子': '0.0038%|1-合成/2-成/', '4-子': '0.0010%|2-成分/3-分/', '5-时': '0.1043%|3-分子/4-子/'} 

words_dict: {'0-结': '10.20459264532005|', '0-结合': '7.949042501030977|', '1-合': '20.12828290517365|0-结', '1-合成': '22.228343734056217|0-结', '2-成': '15.717180879948966|0-结合', '2-成分': '18.629058843066094|0-结合', '3-分': '0.0312%|1-合成/2-成/', '3-分子': '0.0038%|1-合成/2-成/', '4-子': '0.0010%|2-成分/3-分/', '5-时': '0.1043%|3-分子/4-子/'} 

words_dict: {'0-结': '10.20459264532005|', '0-结合': '7.949042501030977|', '1-合': '20.12828290517365|0-结', '1-合成': '22.228343734056217|0-结', '2-成': '15.717180879948966|0-结合', '2-成分': '18.629058843066094|0-结合', '3-分': '23.78968825010375|2-成', '3-分子': '0.0038%|1-合成/2-成/', '4-子': '0.0010%|2-成分/3-分/', '5-时': '0.1043%|3-分子/4-子/'} 

words_dict: {'0-结': '10.20459264532005|', '0-结合': '7.949042501030977|', '1-合': '20.12828290517365|0-结', '1-合成': '22.228343734056217|0-结', '2-成': '15.717180879948966|0-结合', '2-成分': '18.629058843066094|0-结合', '3-分': '23.78968825010375|2-成', '3-分子': '25.895105278186847|2-成', '4-子': '0.0010%|2-成分/3-分/', '5-时': '0.1043%|3-分子/4-子/'} 

words_dict: {'0-结': '10.20459264532005|', '0-结合': '7.949042501030977|', '1-合': '20.12828290517365|0-结', '1-合成': '22.228343734056217|0-结', '2-成': '15.717180879948966|0-结合', '2-成分': '18.629058843066094|0-结合', '3-分': '23.78968825010375|2-成', '3-分子': '25.895105278186847|2-成', '4-子': '30.14198430803632|2-成分', '5-时': '0.1043%|3-分子/4-子/'} 

words_dict: {'0-结': '10.20459264532005|', '0-结合': '7.949042501030977|', '1-合': '20.12828290517365|0-结', '1-合成': '22.228343734056217|0-结', '2-成': '15.717180879948966|0-结合', '2-成分': '18.629058843066094|0-结合', '3-分': '23.78968825010375|2-成', '3-分子': '25.895105278186847|2-成', '4-子': '30.14198430803632|2-成分', '5-时': '32.76075938115034|3-分子'} 

========================分词后的句子===================================
seg_line: 时/ 
seg_line: 分子/ 时/ 
seg_line: 成/ 分子/ 时/ 
seg_line: 结合/ 成/ 分子/ 时/ 
结合/ 成/ 分子/ 时/

 

白驹_过隙
关注
  • 1
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
自然语言处理NPL-最大概率分词算法.zip_NPl_pullvqr_settlers691_最大概率分词算法源码_自然语言处理
09-24
综上所述，"自然语言处理NPL-最大概率分词算法.doc"文档很可能是关于如何实现最大概率分词算法的详细教程，包括理论介绍、模型设定、算法实现以及可能的优化策略。通过学习这个文档，读者不仅可以了解分词的基本概念...
数据分析简单介绍
qq_37891300的博客
03-30 252
Model 1 工作模块 日、周、月报 日报 各种数据源整理，了解业务现状 培养数据敏感性，比如数据波动 数据波动的解析，提醒业务变更 周报 版本迭代分析 短期分析趋势 为其他PPT背书 月报 月报的数据来源大多参考日报和周报 业务梳理 形成指导建议，尤其是对后续迭代的指导 目标评估及战略知道 临时数据 背景：一般有2种。第一，管理层需要；第二：业务执行人员需要。 针对管理层需要，注意以下几点：1、了解背景；2、核对再核对，确定准确性且只能上报一次；3、简单明了；4、反思到思考。 针对业务
负对数似然（negative log-likelihood, NLL）
XIAOSHUCONG的博客
03-15 1万+
概率是指一个事件发生的可能性，描述的是对象是事件；似然是指影响事件发生概率的未知参数，描述的对象是参数。
信息论、通信入门介绍
04-29 518
通信基础、信息论基础
最大概率法分词
nlpzryyclxz的博客
08-27 3140
优点： 由于最大概率法考虑的是某种字串出现的条件下，最可能划分的词串，因此在拥有大量标注语料的前提下，可以在一定程度上避免切分歧义。原理： 设Z=z1z2…zn表示字串，    W=w1w2…wm表示切分后的词串， 汉语词语切分可以看作是求使P(W|Z)最大的切分。p(W|Z) = P(W)P(Z|W)/P(Z) P(Z)是汉字串的概率，它对于各个候选词串都是一样的，不必考虑。 P(Z|
最大概率法分词及性能測试
weixin_34119545的博客
06-10 227
        最大概率分词是一种最主要的统计方法分词。一个待切割的字符串有多种分词结果，最大概率分词的原则是将当中概率最大的那个作为该字符串的分词结果。 第一部分 理论基础         如对一个字符串：         S：有意见分歧         分词结果1： w1:有/ 意见/ 分歧/         分词结果2： w2:有意/ 见/ 分歧...
自然语言处理NaturalLanguageProcessing(NLP).ppt
11-12
自然语言处理（NLP）是计算机科学领域与人工智能的一个重要分支，主要研究如何处理和理解人类的自然语言，包括但不限于英语、汉语等。NLP旨在让计算机能够理解、生成、处理和生成这些语言，以便更好地服务于信息处理...
NLP课件（自然语言处理课件）
08-19
自然语言处理（NLP）是计算机科学领域的一个重要分支，它专注于使计算机能够理解、解析、生成和操作人类自然语言。这些课件涵盖了NLP的多个核心主题，为学习者提供了一个全面的学习路径。 首先，"L1 - Introduction...
NLP基于深度学习的自然语言处理综述.pdf
04-21
自然语言处理（NLP）是人工智能领域的一个重要分支，它致力于让计算机理解和生成人类自然语言。随着深度学习技术的发展，NLP已经取得了显著的进步，深度学习模型在处理自然语言任务时展现出强大的潜力。 深度学习是...
NLP自然语言处理nlp，一些nlp片段
最新发布
03-21
【NLP】自然语言处理nlp，一些nlp片段 说明：nlp，一些nlp片段 (nlp,somenlpfragments) 文件列表: nlp_desc1.jpg(117535,-11-04) nlp_desc2.jpg(83461,-11-04) splits.java(3636,-11-04) 【NLP】自然语言处理nlp，...
负对数似然(negative log-likelihood)
热门推荐
silver1225的博客
03-30 6万+
negative log likelihood 文章目录negative log likelihood似然函数(likelihood function)OverviewDefinition离散型概率分布(Discrete probability distributions)连续型概率分布(Continuous probability distributions)最大似然估计(Maximum Lik...
蒸馏网络 Distilling the Knowledge in a Neural Network
cdknight_happy的专栏
04-20 1496
论文：https://arxiv.org/abs/1503.02531
贝叶斯法则,先验概率,后验概率,最大后验概率
weixin_30325793的博客
03-19 1964
1.贝叶斯法则机器学习的任务：在给定训练数据D时，确定假设空间H中的最佳假设。最佳假设：一种方法是把它定义为在给定数据D以及H中不同假设的先验概率的有关知识下的最可能假设。贝叶斯理论提供了一种计算假设概率的方法，基于假设的先验概率、给定假设下观察到不同数据的概率以及观察到的数据本身。2.先验概率和后验概率用P(h)表示在没有训练数据前假设h拥有的初始概率。P(h)被称为h的先验概率。先验概率反映了...
先验概率、最大似然估计、贝叶斯估计、最大后验概率
guohecang的博客
08-25 4万+
参数估计的方法有多种，这里我们分析三种基于概率的方法，分别是最大似然估计（Maximum Likelihood）、贝叶斯估计（Bayes）和最大后验估计（Maximum a posteriori）。我们假设我们观察的变量是x，观察的变量取值（样本）为，要估计的参数是，x的分布函数是（我们用条件概率来显式地说明这个分布是依赖于取值的）。实际中，x和都可以是几个变量的向量，这里我们不妨认为它们都是标量（theta若是标量求导，若是向量求偏导）。这里的p(x|θ)可以是高斯分布或其他分布。
python三维数据欠采样_欠采样-Python数据科学技术详解与商业项目实战精讲 - Python学习网...
weixin_39747975的博客
12-10 122
欠采样欠采样Db类支持原生SQL查询操作，主要包括下面两个方法：query方法query方法用于执行SQL查询操作，和select方法一样返回查询结果数据集(数组)。使用示例：Db::query("select*fromthink_userwherestatus=1");如果希望从主库读取，可以使用Db::master(true)->query("select*fromthi...
浅谈Logistic回归及过拟合
weixin_34191734的博客
06-13 2804
　　判断学习速率是否合适？每步都下降即可。这篇先不整理吧... 　　这节学习的是逻辑回归（Logistic Regression），也算进入了比较正统的机器学习算法。啥叫正统呢？我概念里面机器学习算法一般是这样一个步骤： 　　1）对于一个问题，我们用数学语言来描述它，然后建立一个模型，例如回归模型或者分类模型等来描述这个问题； 　　2）通过最大似然、最大后验概率或者最小化分类误差等等建立模型...
负对数似然函数（Negative Log Likelihood）
Yuanwai1995的博客
03-09 1万+
似然函数 似然函数是一种关于统计模型参数的函数，给定输出y时，关于参数x的似然函数在数值上等于给定参数y后变量的概率 负对数似然函数 高斯分布的概率密度函数 对应负对数似然函数 泊松分布的概率密度函数 对应负对数似然函数 ...
对数几率回归
Suan2014的博客
08-13 4156
目的： 利用线性回归时，输出的是实值，但要做的是分类任务该怎么办，答案就是线性模型的广义线性回归，即找到一个单调可微的函数将分类任务的真实标记和线性回归的预测值联系起来。 如是二分类任务，其输出标记为,而线性回归的预测值为实值，我们需将实值转为0/1值，我们必然想到单位阶跃函数（unit-step function），若大于0就判为正例，小于0则判为反例，预测值为临界值为0则可任意判别。但
自然语言处理讲义第一章.pdf
06-16
自然语言处理讲义第一章从基本概念出发，介绍了NLP的定义、与计算语言学的关系，以及语言的特性，为后续章节深入研究自然语言处理的各种技术、算法和应用奠定了基础。理解这些概念是踏上NLP学习之旅的第一步。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

白驹_过隙

听说打赏的都进了福布斯排行榜

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值