机器学习之条件随机场（CRF）学习笔记-Datawhale Task04

最新推荐文章于 2021-07-04 19:51:01 发布

且听数据说

最新推荐文章于 2021-07-04 19:51:01 发布

阅读量280

点赞数

分类专栏：机器学习文章标签：算法 python 机器学习

本文链接：https://blog.csdn.net/weixin_44033063/article/details/105749512

版权

机器学习专栏收录该内容

7 篇文章 0 订阅

订阅专栏

Author	Bryce230
e-mail	2540892461@qq.com
Software	win10，Pycharm2019.3.3，Python3.7.7

条件随机场笔记-Datawhale Task04

1 马尔可夫过程
2 隐马尔科夫算法
3 条件随机场
4 CRF与HMM的比较
5 CRF基本问题
6 预测问题之维特比算法
7 代码实现
8 参考资料

1 马尔可夫过程

定义： 假设一个随机过程中， $t_n$ 时刻的状态 $x_n$ 的条件分布，只与其前一状态 $x_{n-1}$ 相关，即：

$P(x_n|x_1,x_2,...,x_{n-1}) = P(x_n|x_{n-1})$

则将其称为马尔可夫过程。
在这里插入图片描述

2 隐马尔科夫算法

定义： 隐马尔科夫算法是对含有未知参数（隐状态）的马尔可夫链进行建模的生成模型，如下图所示：
在这里插入图片描述

在隐马尔科夫模型（Hidden Markov Model, 简称HMM）中，包含隐状态和观察状态，隐状态 $x_i$ 对于观察者而言是不可见的，而观察状态 $y_i$ 对于观察者而言是可见的。隐状态间存在转移概率，隐状态 $x_i$ 到对应的观察状态 $y_i$ 间存在输出概率。

假设

假设隐状态 $x_i$ 的状态满足马尔可夫过程，i时刻的状态 $x_i$ 的条件分布，仅与其前一个状态 $x_{i-1}$ 相关，即：

$P(x_i|x_1,x_2,...,x_{i-1}) = P(x_i|x_{i-1})$

假设观测序列中各个状态仅取决于它所对应的隐状态，即：

$P(y_i|x_1,x_2,...,x_{i-1},y_1,y_2,...,y_{i-1},y_{i+1},...) = P(y_i|x_{i})$
存在问题

在序列标注问题中，隐状态（标注）不仅和单个观测状态相关，还和观察序列的长度、上下文等信息相关。例如词性标注问题中，一个词被标注为动词还是名词，不仅与它本身以及它前一个词的标注有关，还依赖于上下文中的其他词。

3 条件随机场

条件随机场（conditional random field，简称CRF），是一种鉴别式机率模型，是随机场的一种，常用于标注或分析序列资料，如自然语言文字或是生物序列。（百度百科）

特征函数
在这里插入图片描述

在词性标注时，两个动词相连我们可以给负分：转移特征函数 $t(y_2=v.,y_3=v.,x,i)=-1$ ; 把 a 标注成不定冠词可以给正分：状态特征函数 $s(y_3=art.,x,i)=1$ 。

参数含义：
句子 $x$ （就是我们要标注词性的句子）
$i$ ，表示句子 $x$ 中第 $i$ 个单词
$x_i$ , 表示句子 $x$ 的第 $i$ 个单词是什么
$y_i$ ，表示句子 $x$ 中第 $i$ 个单词标注的词性
$y_i-1$ ，表示句子 $x$ 中第 $i - 1$ 个单词标注的词性

条件随机场参数化定义为：
$p\left(y | x\right)=\frac{1}{Z\left(x\right)} \prod_{i=1}^{n} \exp \left(\sum_{i, k} \lambda_{k} t_{k}\left(y_{i-1}, y_{i}, x, i\right)+\sum_{i, l} \mu_{l} s_{l}\left(y_{i}, x, i\right)\right)$

其中：
$Z (x)$ 为归一化因子，是在全局范围进行归一化，枚举了整个隐状态序列 $x_{1…n}$ 的全部可能，从而解决了局部归一化带来的标注偏置问题。

$Z(x)=\sum_{y} \exp \left(\sum_{i, k} \lambda_{x} t_{k}\left(y_{i-1}, y_{i}, x, i\right)+\sum_{i, l} \mu_{l} s_{l}\left(y_{i}, x, i\right)\right)$
$\lambda_{x}$ 和 $\mu_{l}$ 表示权重大小。

总结：为了建一个条件随机场，我们首先要定义一个特征函数集，每个特征函数都以整个句子x，当前位置 $i$ ，位置 $i$ 和 $i - 1$ 的标签为输入，然后为每一个特征函数赋予一个权重，针对每一个标注序列 $y$ ，对所有的特征函数加权求和，进一步可以把求和的值转化为一个概率值。

图中的conditional便是特征函数。从图中也可以看出Naive Bayes，Logistic Regression, HMM, Linear-chain CRF之间的关系。
在这里插入图片描述

4 CRF与HMM的比较

CRF可以定义数量更多，种类更丰富的特征函数。 在HMM模型中，当前的单词只依赖于当前的标签，当前的标签只依赖于前一个标签。这样的局部性限制了HMM只能定义相应类型的特征函数。但是CRF却可以着眼于整个句子定义更具有全局性的特征函数。
CRF可以使用任意的权重。将对数HMM模型看做CRF时，特征函数的权重由于是log形式的概率，所以都是小于等于0的，而且概率还要满足相应的限制；但在CRF中，每个特征函数的权重可以是任意值，没有这些限制。（具体解释见：如何轻松愉快地理解条件随机场（CRF）？）

5 CRF基本问题

条件随机场包含概率计算问题、学习问题和预测问题三个问题：

概率计算问题： 已知模型的所有参数，计算观测序列 $Y$ 出现的概率，常用方法：前向和后向算法；
学习问题： 已知观测序列 $Y$ ，求解使得该观测序列概率最大的模型参数，包括隐状态序列、隐状态间的转移概率分布和从隐状态到观测状态的概率分布，常用方法：Baum-Wehch 算法；
预测问题： 一直模型所有参数和观测序列 $Y$ ，计算最可能的隐状态序列 $X$ ,常用算法：维特比算法。

6 预测问题之维特比算法

对于预测问题，常用的方法是维特比算法，其思路如下：

输入：模型特征向量 $F (y, x)$ 和权重向量 $w$ ，输入序列（观测序列） $x={x_1,x_2,...,x_n}$ ；

输出：条件概率最大的输出序列（标记序列） $y^{*}= (y_1^*,y_2^*,...,y_n^*)$ ，也就是最优路径；

初始化

递推，对 $i = 2, 3, . . ., n$

终止

返回路径

求得最优路径 $y^{*}= (y_1^*,y_2^*,...,y_n^*)$

例子说明

利用维特比算法计算给定输入序列 $x$ 对应的最优输出序列 $y^*$ ：

初始化

递推，对 $i = 2, 3, . . ., n$

在这里插入图片描述

终止

返回路径

求得最优路径 $y^{*}= (y_1^*,y_2^*,...,y_n^*) = (1,2,1)$

7 代码实现

import numpy as np

class CRF(object):
    '''实现条件随机场预测问题的维特比算法
    '''
    def __init__(self, V, VW, E, EW):
        '''
        :param V:是定义在节点上的特征函数，称为状态特征
        :param VW:是V对应的权值
        :param E:是定义在边上的特征函数，称为转移特征
        :param EW:是E对应的权值
        '''
        self.V  = V  #点分布表
        self.VW = VW #点权值表
        self.E  = E  #边分布表
        self.EW = EW #边权值表
        self.D  = [] #Delta表，最大非规范化概率的局部状态路径概率
        self.P  = [] #Psi表，当前状态和最优前导状态的索引表s
        self.BP = [] #BestPath，最优路径
        return

    def Viterbi(self):
        '''
        条件随机场预测问题的维特比算法，此算法一定要结合CRF参数化形式对应的状态路径图来理解，更容易理解.
        '''
        self.D = np.full(shape=(np.shape(self.V)), fill_value=.0)
        self.P = np.full(shape=(np.shape(self.V)), fill_value=.0)
        for i in range(np.shape(self.V)[0]):
            #初始化
            if 0 == i:
                self.D[i] = np.multiply(self.V[i], self.VW[i])
                self.P[i] = np.array([0, 0])
                print('self.V[%d]='%i, self.V[i], 'self.VW[%d]='%i, self.VW[i], 'self.D[%d]='%i, self.D[i])
                print('self.P:', self.P)
                pass
            #递推求解布局最优状态路径
            else:
                for y in range(np.shape(self.V)[1]): #delta[i][y=1,2...]
                    for l in range(np.shape(self.V)[1]): #V[i-1][l=1,2...]
                        delta = 0.0
                        delta += self.D[i-1, l]                      #前导状态的最优状态路径的概率
                        delta += self.E[i-1][l,y]*self.EW[i-1][l,y]  #前导状态到当前状体的转移概率
                        delta += self.V[i,y]*self.VW[i,y]            #当前状态的概率
                        print('(x%d,y=%d)-->(x%d,y=%d):%.2f + %.2f + %.2f='%(i-1, l, i, y, \
                                                                             self.D[i-1, l], \
                                                                             self.E[i-1][l,y]*self.EW[i-1][l,y], \
                                                                             self.V[i,y]*self.VW[i,y]), delta)
                        if 0 == l or delta > self.D[i, y]:
                            self.D[i, y] = delta
                            self.P[i, y] = l
                    print('self.D[x%d,y=%d]=%.2f\n'%(i, y, self.D[i,y]))
        print('self.Delta:\n', self.D)
        print('self.Psi:\n', self.P)

        #返回，得到所有的最优前导状态
        N = np.shape(self.V)[0]
        self.BP = np.full(shape=(N,), fill_value=0.0)
        t_range = -1 * np.array(sorted(-1*np.arange(N)))
        for t in t_range:
            if N-1 == t:#得到最优状态
                self.BP[t] = np.argmax(self.D[-1])
            else: #得到最优前导状态
                self.BP[t] = self.P[t+1, int(self.BP[t+1])]

        #最优状态路径表现在存储的是状态的下标，我们执行存储值+1转换成示例中的状态值
        #也可以不用转换，只要你能理解，self.BP中存储的0是状态1就可以~~~~
        self.BP += 1

        print('最优状态路径为：', self.BP)
        return self.BP

def CRF_manual():
    S = np.array([[1,1],   #X1:S(Y1=1), S(Y1=2)
                  [1,1],   #X2:S(Y2=1), S(Y2=2)
                  [1,1]])  #X3:S(Y3=1), S(Y3=1)
    SW = np.array([[1.0, 0.5], #X1:SW(Y1=1), SW(Y1=2)
                   [0.8, 0.5], #X2:SW(Y2=1), SW(Y2=2)
                   [0.8, 0.5]])#X3:SW(Y3=1), SW(Y3=1)
    E = np.array([[[1, 1],  #Edge:Y1=1--->(Y2=1, Y2=2)
                   [1, 0]], #Edge:Y1=2--->(Y2=1, Y2=2)
                  [[0, 1],  #Edge:Y2=1--->(Y3=1, Y3=2)
                   [1, 1]]])#Edge:Y2=2--->(Y3=1, Y3=2)
    EW= np.array([[[0.6, 1],  #EdgeW:Y1=1--->(Y2=1, Y2=2)
                   [1, 0.0]], #EdgeW:Y1=2--->(Y2=1, Y2=2)
                  [[0.0, 1],  #EdgeW:Y2=1--->(Y3=1, Y3=2)
                   [1, 0.2]]])#EdgeW:Y2=2--->(Y3=1, Y3=2)

    crf = CRF(S, SW, E, EW)
    ret = crf.Viterbi()
    print('最优状态路径为:', ret)
    return

if __name__=='__main__':
    CRF_manual()

结果如下：

self.V[0]= [1 1] self.VW[0]= [1.  0.5] self.D[0]= [1.  0.5]
self.P: [[0. 0.]
 [0. 0.]
 [0. 0.]]
(x0,y=0)-->(x1,y=0):1.00 + 0.60 + 0.80= 2.4000000000000004
(x0,y=1)-->(x1,y=0):0.50 + 1.00 + 0.80= 2.3
self.D[x1,y=0]=2.40

(x0,y=0)-->(x1,y=1):1.00 + 1.00 + 0.50= 2.5
(x0,y=1)-->(x1,y=1):0.50 + 0.00 + 0.50= 1.0
self.D[x1,y=1]=2.50

(x1,y=0)-->(x2,y=0):2.40 + 0.00 + 0.80= 3.2
(x1,y=1)-->(x2,y=0):2.50 + 1.00 + 0.80= 4.3
self.D[x2,y=0]=4.30

(x1,y=0)-->(x2,y=1):2.40 + 1.00 + 0.50= 3.9000000000000004
(x1,y=1)-->(x2,y=1):2.50 + 0.20 + 0.50= 3.2
self.D[x2,y=1]=3.90

self.Delta:
 [[1.  0.5]
 [2.4 2.5]
 [4.3 3.9]]
self.Psi:
 [[0. 0.]
 [0. 0.]
 [1. 0.]]
最优状态路径为： [1. 2. 1.]
最优状态路径为: [1. 2. 1.]

8 参考资料

[1] Task4 条件随机场.ipynb
[2] 白话条件随机场（conditional random field）
[3] 如何轻松愉快地理解条件随机场（CRF）？
[4] 条件随机场(CRF)

且听数据说

关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
机器学习之条件随机场（CRF）学习笔记-Datawhale Task04

[email protected]，Pycharm2019.3.3，Python3.7.7条件随机场笔记-Datawhale Task041 马尔可夫过程2 隐马尔科夫算法3 条件随机场4 CRF与HMM的比较5 CRF基本问题6 预测问题之维特比算法7 代码实现8 参考资料1 马尔可夫过程定...
复制链接

扫一扫