目录
三、条件随机场 Conditional random field CRF
四 命名实体识别 Named entity recognition NER
一、前向概率 Foward probability
以 隐马尔可夫模型 为例,t时刻的概率,取决于t-1时刻的概率,和t-1时刻到t时刻的转移概率。
二、维特比算法 Viterbi
找每个时刻,每个状态的概率最大值。每个时刻,每个状态的概率计算公式为 前一时刻的初始概率乘以转移概率,再乘以当前时刻的初始概率。
直到最后一时刻为止。找出最后一个时刻的状态的概率最大值 对应的状态。再 逆向求解到 前一时刻的状态,以此类推。得到每个时刻的状态的逆序列。把这个逆序列反转就得到了正序列。从而可以得到句子分词。
三、条件随机场 Conditional random field CRF
假设每个时刻的状态与他的前后时刻的状态都有关。与它不相邻的位置的状态无关。
四 命名实体识别 Named entity recognition NER
以 之前的 把句子中的每个字 应设为状态列表中的某个状态 为例。
更 高 地 举起 邓小平理论 伟大 旗帜