本学期上了北邮王晓茹老师的数据仓库与数据挖掘课程,实验一便是数据挖掘入门级的实验:文本分类。第一次自己写代码花了很长时间终于把实验做完了,在这里记录一下。
一, 先简单说下实验的工具和环境。
代码环境:Python2.7
Python学习建议廖雪峰老师的网站:http://www.liaoxuefeng.com
分词工具:中科院张华平博士的汉语词法分析系统ICTCLAS(Institute of Computing Technology, Chinese Lexical Analysis System)
中文语料库:搜狗中文语料库
链接:http://www.sogou.com/labs/dl/c.html
文本训练工具和测试工具:台湾大学林智仁(Lin Chih-Jen)等开发设计的lib-svm
</