分词：基于HMM的中文分词模型实现

最新推荐文章于 2024-08-01 10:48:12 发布

lpty

最新推荐文章于 2024-08-01 10:48:12 发布

阅读量8.1k

点赞数 6

分类专栏：自然语言自然语言基础文章标签：中文分词 HMM

本文链接：https://blog.csdn.net/sinat_33741547/article/details/78870575

版权

本文详细介绍了如何使用HMM（隐马尔科夫模型）实现中文分词。从语料源的选择，如Bakeoff 2005的icwb2-data，到语料处理、生成隐藏状态序列、初始化概率模型和解码过程，最后展示模型效果。在了解分词基础知识的前提下，通过实战步骤理解HMM在中文分词中的作用。

摘要由CSDN通过智能技术生成

一、前言

本文主要是实现了一个纯粹的HMM中文分词模型，关于中文分词可以参考：中文分词。分词的基本思想与该文基本一致，请确保已经了解分词的基本知识。

二、实战

1、语料源

语料来源于Bakeoff 2005的主页，这里选用了icwb2-data.rar语料，大概介绍如下：

* /icwb2-data.rar/training/msr_training.txt 用以训练HMM，其中包含已分词汇约2000000个

* /icwb2-data.rar/testing/msr_test.txt 测试集

* /icwb2-data.rar/gold/msr_gold.txt 测试集已分词文本

2、语料处理

    def read_corpus_from_file(cls, file_path):
        """
        读取语料
        """
        f = open(file_path, 'r')
        lines = f.readlines()
        for line in lines:
            cls._words.extend([word for word in line.decode('gbk').strip().split(' ') if word and not cls.is_puns(word)])
        f