Yelp NLP Text Classification Modeling 文本分类模型 with Prodigy

@Yelp NLP项目介绍

@文本预处理

接下来，我需要：

1. 建立Training Set。
2. 搭建分类模型。因为这是个练手的项目，所以我想把不同的模型都试一下。

STEP 2.1: 建立Training Set

我希望能快速得到一个规模相当的training set，大概10000个labelling。文本数据中真实包含的目标句式应该是相对占比较小的，也就是说，最终我的training set一定是不平衡的，label = 0的比例会远高于label = 1 的比例。如果我什么预处理都不做，直接随机从文本数据库中收取句子来进行标记，可以预想，得到的label = 1的结果应该很少。为了提高标记的效率，我决定，不进行随机收取，而是先通过targeted sampling，找到数据中存在的目标句式进行标记，然后再随机从剩余样本中抽取label = 0的句子。

找到目标句式的方法也很简单，主要简单的定义一个regular expression，筛选出句子中包含某些具有明确指向性的关键词即可。比如，在我感兴趣的标示位置的句子中，可能的关键词就有：

1. a [few] block[s] away
2. close to my
3. walk[ed] [over/from]
4. [live/work] nearby
5. local
6. neighborhood

含有上述关键词的句子，更有可能是我所感兴趣的句子。我只要写出一个筛选函数，用这个筛选函数定向地抽取待标记样本，就能够人为地提高training set中label = 1的比例。给定10000的training sample size， 我需要有效样本，即label = 1 的比例至少在10%以上，也就是说，我需要找到至少1000条我感兴趣的句型。希望我现在有的30万条用户评论中，存