label-bias-problem

参考自：

1. label-bias-problem1
2. label-bias-problem2
3. B站白板推导MEMM-CRF

现象描述

1. 该问题来自对局部转移概率的归一化；
2. 直观地想象
   • 状态S的向外转移分支较少时，各分支会得到更多的probability；
   • 状态S的向外转移分支虽多，但是其实真实数据中这些转移发生次数都比较少，因为归一化，S的转移概率分布也可能和其他状态的常见转移一样；
3. 上述两种现象针对的问题就是，本身从当前状态S向外转移 在数据中并不常见，但是由于S外转分支少，再加上做归一化，就会导致从该状态转移出去的概率也比较大，在利用viterbi(动态规划)求解状态序列时形成了偏向该状态的bias；
4. 一种糟糕的情况是，如果数据中状态S只转移到状态T，不管该现象出现频率怎么样，label-bias-problem在遇到状态S时都会忽视观测(obversation)直接预测成状态T；

举例说明

例子1

1. 该例子来自参考文献1，个人觉得是自己看到的比较具体和解释清晰的例子：
   • 观测为： the cat sat
   • 状态为：article noun verb （注：词性）
   • 下图为实际数据经过MEMM得到的状态转移图，图中 (the, 1.0)等表示 前一个状态(如<S>)遇到观测the，以1.0的概率输出新状态(如article)
   • 可以发现，<S> + cat $\to$ article 概率居然高达0.9；而 <S> + cat $\to$ noun 才0.1；同样 article + sat $\to$ noun 是0.3，article + sat $\to$ verb 是0.7，而article + cat $\to$ noun 是0.9(与0.7差别不算大)；这就是问题所在
   • 此时如果观测到 cat sat，根据下图，模型生成的状态序列是 “article verb”，显然不太正确，正确的应该是 “noun verb”，即图中最下方的路径；
     
2. 问题就出在局部归一化，我们来看MEMM的计算公式：
   • 可以发现第2个公式在计算局部归一概率分布P，P里面有个$s(y_t,x_t,y_{t-1})$，这是score function，评估当前局部特征的得分，计算得分涉及到的参数在训练过程中求解；
   • 对于上述例子，我们来看一下真实的score是怎样的，如下图；我们发现<S> + cat $\to$ article 的得分只有5(有得分可能是有点错误数据)，article + sat $\to$ noun/verb 得分 分别只有21/20 ；回忆根据局部归一计算最优，选择的路径是<S> $\to$ article $\to$ verb；如果根据真实得分，选的路径是<S> $\to$ noun $\to$ verb （得分3+100=103） ；这个才是正确的状态路径
   • 可以看到，虽然<S> + cat $\to$ article/noun得分分别是5/3，但是局部归一后，概率高达0.9/0.1，这就是开头说的 不常见的状态转移经过归一后，概率也能很大，导致解码过程发生bias；
   • 更深入的分析可以看参考文献1

例子2

1. 该例子是解释label-bias-problem经常出现的例子，不过个人看到的博客感觉都没说清楚，尤其是涉及到的 只有一个转移会产生忽视观测 的原因 ；这里直接贴大佬的ppt了（侵删），例子和解释都写得挺清楚的：
2. 可以看到因为 局部归一的计算方式，导致 rob 预测得到的状态序列又变成123