Python调用NLPIR/ICTCLAS进行文本分词

本文采用搜狗中文语料库mini版的文本数据，共九类（财经、IT、健康、体育、旅游、教育、招聘、文化、军事），每个类别共1990个文本，并在实验前通过.py程序抓取前500个文本数据作为训练集。

数据预处理包括文本分词、去停用词、词频统计、特征选择、采用向量空间模型表示文档等。接下的几篇博文将按照这几个歩棸对文本进行预处理。