NLP基础之n-gram处理

NLP基础之n-gram处理

此模型是基于CRF的命名实体识别模型，输入一段新闻数据，然后预测输出这段文字中按BIOE规则标注的时间、地点、人物、机构名称等实体。
N-gram简介
  它的第一个特点是某个词的出现依赖于其他若干个词，第二个特点是我们获得的信息越多，预测越准确。我想说，我们每个人的大脑中都有一个N-gram模型，而且是在不断完善和训练的。我们的见识与经历，都在丰富着我们的阅历，增强着我们的联想能力。

N-gram模型是一种语言模型（Language Model，LM），语言模型是一个基于概率的判别模型，它的输入是一句话（单词的顺序序列），输出是这句话的概率，即这些单词的联合概率（joint probability）。

1、建立文件 model 和training，model用于存放模型、training用于存放训练集
将rmrb199801.pkl放入training中，并建立两个py文件，train和predict

2、编辑train.py
（1）、库的导入

import sklearn_crfsuite
from sklearn_crfsuite import metrics
import joblib
from nltk import trigrams
import pickle

（2）、读取训练数据

#训练数据的读取
def load_pickle(path):
    with open(path,'rb') as f:
        data = pickle.load(f)
    print(f'\rloaded{path} down!')
    return data

（3）、将词性标注转成对应的实体标注

将词性标注转成对应的实体标注
_maps = {
   u't':u't'
    ,u'nr':u'PER'
    ,u'ns':u'LOC'
    ,u'nt':u'ORG'}
#将词性转换为实体，如果没有对应的实体标注则为O
def pos_to_tag(p):
    t = _maps.get(p,None)
    return  t if t else  u'O'

（4）、为实体按照BIOE模式加上标签

 # 根据实体中不同单字的位置为标签加上'B'或'I'或'E',使用BIOE模式
def tag_perform(tag, index):
    if index == 0 and tag != u'O':
        return u'B_{}'.format(tag)
    elif index == -1 and tag != u'O':
        return u'E_{}'.format(tag)
    elif tag != u'O':
        return u'I_{}'.format(tag)
    else:
        return tag

（5）、 初始化字序列、实体标签序列

## 初始化字序列、实体标签序列
def init_sequence(training_data):

    text = load_pickle(training_data)
    # 将数据变换成这种形式：[['迈向/v'], ['充满/v'], ['希望/n'], ['的/u'], ['新/a'], ...]
    words_list = [line.split() for line in text if line.strip()]

    # 获取汉字列表，如[['迈向'], ['充满'], ['希望'], ['的'], ['新'], ...]
    words_seq = [[word.split(u'/'