文章目录
CRF——三个基本问题
线性链CRF的形式化表示
一般形式
设 P ( Y ∣ X ) P(Y|X) P(Y∣X)为线性链CRF,在随机变量X取值为x的条件下,随机变量Y取值为y的条件概率具有如下形式:
其中,求和是在所有可能的输出序列上进行的。 t k t_k tk和 s l s_l sl是特征函数, λ k \lambda_k λk和 μ l \mu_l μl是对应的权值,这四组参数确定了CRF。
- t k t_k tk是定义在(图模型的)边上的特征函数,成为转移特征,依赖当前和前一个位置。
- s l s_l sl是定义在(图模型的)节点上的特征函数,成为状态特征,依赖于当前位置。
- t k t_k tk和 s l s_l sl都是局部特征函数,因为它们都依赖于位置。通常的取值为1或0。取值为1表示满足特征条件,否则为0。
Z ( x ) Z(x) Z(x)为规范化因子:
在实际使用中,当样本既定后, Z ( x ) Z(x) Z(x)也是既定的。
在这种情况下, Z ( x ) Z(x) Z(x)就可以被看作一个常数。因此:
用更清晰的表示,可写作:
上式表达的是,线性链CRF一共有K个转移特征和L个状态特征,它的观测序列和状态序列的长度为n。它在X=x条件下,Y=y的条件概率分布正比于经历如下步骤得出的内容:
- Step1:将同一个特征(转移特征及状态特征)在各个位置求和,将局部特征转化为全局特征;
- Step2:分别计算全局转移特征向量和全局状态特征向量与对应的权值向量的内积;
- Step3:对Step2的结果求 e x p