NLP基础 Task2 特征提取

1. 基本文本处理技能
   1.1 分词的概念（分词的正向最大、逆向最大、双向最大匹配法）；
   1.2 词、字符频率统计；（可以使用Python中的collections.Counter模块，也可以自己寻找其他好用的库）

2. 概念
   2.1 语言模型中unigram、bigram、trigram的概念；
   2.2 unigram、bigram频率统计；（可以使用Python中的collections.Counter模块，也可以自己寻找其他好用的库）

3. 文本矩阵化：要求采用词袋模型且是词级别的矩阵化
   步骤有：
   3.1 分词（可采用结巴分词来进行分词操作，其他库也可以）；
   3.2 去停用词；构造词表。
   3.3 每篇文档的向量化。