NLP面试题目汇总11-15

11.如何对中文分词问题用隐马尔可夫模型进行建模和训练？

场景描述

介绍隐马尔可夫模型之前，首先了解马尔科夫过程。马尔科夫过程是满足无后效性的随机过程。**当前状态仅与前一状态相关。**时间和状态都是离散的马尔科夫过程也叫马尔科夫链
隐马尔可夫模型是对含有未知参数（隐状态）的马尔科夫链进行建模的过程



隐马尔可夫模型通常用来做序列标注问题，因此可以将分词问题转化为序列标注问题

11.5 最大熵隐马尔可夫模型为什么会产生标注偏置问题，如何解决？

标注偏置问题

它是一种判别式的概率无向图模型，既然是判别式，那就是对条件概率分布建模。

12.常见的概率图模型中，哪些是生成式模型，哪些是判别式模型？

  首先需要弄清楚生成式模型与判别式模型的区别。
  假设可观测的变量集合为X，需要预测的变量集合为Y，其他的变量集合为Z。生成式模式是对联合概率分布$P(X,Y,Z)$进行建模，在给定观测集合X的条件下，通过计算边缘分布来求得对变量集合Y的推断。
P ( Y ∣ X ) = P ( X , Y ) P ( X ) = ∑ Z P ( X , Y , Z ) ∑ Y , Z P ( X , Y , Z ) P(Y|X)=\frac{P(X,Y)}{P(X)}= \frac{\sum_Z P(X,Y,Z)}{\sum_{Y,Z} P(X,Y,Z)} P(Y∣X)=P(X)P(X,Y)​=