HMM隐马尔科夫模型介绍&HMM训练分词器（通俗易懂版本）

teruzhang123

于 2024-08-01 10:48:12 发布

阅读量489

点赞数 12

分类专栏：算法文章标签：算法 nlp

本文链接：https://blog.csdn.net/rinceyuan/article/details/140831294

版权

算法专栏收录该内容

2 篇文章 0 订阅

订阅专栏

隐马尔可夫模型（HMM, Hidden Markov Model）是一种统计模型，用于描述具有隐含（隐藏）状态的系统如何在时间上演变。这种模型在自然语言处理（NLP）任务中非常有用，包括中文分词。

HMM 算法基础

1. 状态和观测：

隐藏状态（Hidden States）：这些是我们不能直接观察到的状态。例如，在中文分词中，状态可以是词的不同组成部分，如“词根”或“词缀”
观测值（Observations）：这些是我们可以直接观察到的值。例如，在中文分词中，观测值就是我们看到的字符或词。

2. 转移概率（Transition Probabilities）： 表示从一个隐藏状态转移到另一个隐藏状态的概率。例如，从一个“词根”状态转移到一个“词缀”状态的概率。

3. 发射概率（Emission Probabilities）： 表示在某个隐藏状态下观察到特定观测值的概率。例如，在“词根”状态下观察到特定字符的概率。

4. 初始概率（Initial Probabilities）： 表示每个隐藏状态在序列开始时的概率。

为什么需要 HMM 进行分词

1. 词语边界标注和未标注文本的区别：

已标注数据（如“我/是/学生”）：这种数据已经给出了词的边界，即每个词的起始和结束位置。这种数据通常用于训练模型。
未标注文本（如“我爱编程”）：这种数据没有词的边界标注，我们的目标是从这种文本中自动识别出词边界。

2. HMM 的作用：

HMM 可以用来对未标注文本进行分词预测。训练好的 HMM 模型可以通过学习从已标注数据中提取的模式，来预测未标注文本中的词边界。这个过程包括：

学习模式：HMM 从训练数据中学习到词的组成模式、词的边界信息。
推断词边界：对未标注的文本进行分析，预测词的边界。

HMM 处理词语边界的原理

HMM 在中文分词中的核心思想是通过学习每个字符的上下文信息来确定词的边界。具体来说，HMM 通过以下步骤实现词的划分：

训练数据：使用标注好的语料来训练 HMM 模型。在标注好的数据中，词的边界被显式地标注，例如：
- “我/爱/编程”
- “今天/天气/很好”
隐藏状态定义：
- B（词的开始）：词的起始位置。
- M（词的中间）：词的中间部分。
- E（词的结束）：词的结束位置。
- S（单字词）：词只有一个字符。
状态转移和发射概率：
- 状态转移概率：描述了从一个状态转移到另一个状态的概率。例如，从“B”状态到“M”状态的概率。
- 发射概率：描述了在某个状态下观察到某个字符的概率。例如，在“B”状态下观察到字符“编”的概率。
Viterbi 算法：用于找出给定字符序列中最可能的隐藏状态序列，从而确定词的边界。

HMM 在中文分词中的应用

在中文分词中，我们可以将 HMM 用于根据观测到的字符（中文字符）推断隐藏的词语边界。具体来说，HMM 将每个字符视为观测值，通过模型预测字符的词性或词边界。

步骤：

训练阶段：
- 使用标注好的语料库训练 HMM 模型，得到状态转移概率和发射概率。
预测阶段：
- 给定一个未标注的文本，使用训练好的 HMM 模型预测每个字符的词边界，从而进行分词。

示例

假设我们有一个简单的语料库，包含以下词语和字符边界标注：

“我/爱/编程” （“/”表示词边界）训练 HMM 模型：

标注文本转化为状态序列和观测序列：
- 状态序列（隐藏状态）：B（词的开始），M（词的中间），E（词的结束），S（单字词）
- 观测序列：字符，如“我”，“爱”，“编程”
计算转移概率和发射概率：
- 转移概率：从 B 到 M、M 到 M、M 到 E 的概率。
- 发射概率：在 B 状态下发射“我”的概率。

分词过程：

给定一个新的句子“我爱编程”进行分词：

初始化：
- 初始化 HMM 模型的参数：转移概率、发射概率、初始概率。
使用 Viterbi 算法（解码阶段）：
- 使用 Viterbi 算法计算最可能的隐藏状态序列。

import numpy as np
from hmmlearn import hmm

# 示例数据（简化的模型）
states = ["B", "M", "E", "S"]
n_states = len(states)

observations = ["我", "爱", "编", "程"]
n_observations = len(observations)

# 假设的模型参数
start_prob = np.array([0.5, 0.5, 0, 0])  # 初始概率
trans_prob = np.array([
    [0.1, 0.4, 0.4, 0.1],
    [0.1, 0.4, 0.4, 0.1],
    [0, 0.5, 0.4, 0.1],
    [0.5, 0, 0, 0.5]
])  # 状态转移概率
emit_prob = np.array([
    [0.5, 0.5, 0, 0],
    [0.5, 0.5, 0, 0],
    [0, 0, 0.5, 0.5],
    [0.5, 0.5, 0, 0]
])  # 发射概率

model = hmm.MultinomialHMM(n_components=n_states)
model.startprob_ = start_prob
model.transmat_ = trans_prob
model.emissionprob_ = emit_prob

# 预测分词
seq = ["我", "爱", "编", "程"]
logprob, seq = model.decode([observations.index(x) for x in seq])
print("分词结果:", [states[i] for i in seq])

输出：