基于N-Gram判断句子是否通顺

完整代码实现及训练与测试数据：click me

一、任务描述

        自然语言通顺与否的判定，即给定一个句子，要求判定所给的句子是否通顺。

二、问题探索与分析

        拿到这个问题便开始思索用什么方法来解决比较合适。在看了一些错误的句子之后，给我的第一直觉就是某些类型的词不应该拼接在一起，比如动词接动词(e.g.我打开听见)这种情况基本不会出现在我们的用语中。于是就有了第一个idea基于规则来解决这个问题。但是发现很难建立完善的语言规则也缺乏相关的语言学知识，实现这么完整的一套规则也不简单，因此就放弃了基于规则来实现，但还是想抓住某些类型的词互斥的特性，就想到了N-Gram，但是这里的N-Gram不是基于词来做，而是基于词的词性来做。基于词来做参数量巨大，需要非常完善且高质量的语料库，而词的词性种类数目很小，基于词性来做就不会有基于词的困扰，而且基于词性来做直觉上更能贴合想到的这个idea。除了这个naive的idea之外，后面还有尝试用深度学习来学习句子通顺与否的特征，但是难点在于特征工程怎么做才能学习到句子不通顺的特征。下面我会详细说明我的具体实现。

三、代码设计与实现

3.1 基于词性的N-Gram

环境：

1. python 3.6.7

2. pyltp 0.2.1(匹配的ltp mode 3.4.0)

3. numpy 1.15.4

• pyltp用于分词和词性标注，首先加载分词和词性标注模型

  from pyltp import Segmentor
  from pyltp import Postagger
  
  seg = Segmentor()
  seg.load(os.path.join('../input/ltp_data_v3.4.0', 'cws.model'))
  pos = Postagger()
  pos.load(os.path.join('../input/ltp_data_v3.4.0', 'pos.model'))

• 加载训练数据，并对数据进行分词和词性标注，在句首句尾分别加上<s>和</s>作为句子开始和结束的标记

  train_sent = []
  trainid = []
  train_sent_map = {}  #[id:[ngram value, label]]
  with open('../input/train.txt', 'r') as trainf:
      for line in