NLTK学习笔记——Classify模块（2）

注：本文为实战过程作铺垫，因为参考原文是英文的，每看一遍都要琢磨一遍单词和语法，因此总结一下原文的过程，以备忘之用。本文主要介绍原文中利用NLTK进行twitter语句分类的过程，在下一节就记录本人的实战过程。

参考： http://www.cnblogs.com/wentingtu/archive/2012/04/07/2436583.html

首先与NLTK的例子（即通过name判断gender）相同，都是进行的“有监督分类”。先回顾一下“有监督分类”的过程：

• 输入training set（带label）
• 将输入值转化成feature sets，并创建feature extractor
• feature sets和label配对送入machine learning Algorithm，生成classifiermodel
• 输入testing set（无label）
• 用相同的feature extractor，将输入值转化成feature sets
• 将feature sets送入上面生成的classifier model，生成label

（1）training set

5个肯定句和5个否定句：

代码形式：

由于英文句中的高频词I、am、he等容易给特征提取带来干扰，因此需要对trainingset进行处理，处理内容：

• 将句子切割成单词，按照空格分割words.split()
  
• 单词大小写转换e.lower()
  
• 过滤高频干扰词，判断依据是单词长度len(e)>3

代码与结果：