文本分类的研究与实现

主要任务

对基本的文本分类算法进行研究，了解并掌握算法基本原理，设计程序实现分类算法，并用数据集进行测试。

数据集的获取

本次研究以搜狗实验室的搜狗新闻数据为基本语料， 地址

1.格式转换

原始数据集是只读的XML格式文件(news_sohusite_xml.dat)。首先是编码问题，需要将文件转换为UTF-8编码；然后是标签问题，原始XML格式文件缺少根标签，需要自行添加。本次格式转换部分用java语言实现，逐行读取内容，然后写入目标文件，并在目标文件的首尾加上自定义的根标签，最终得到格式转换后的文件news_sohusite_xml.txt。格式转换代码如GBK2UTF8.java，实现了GBK向UTF-8格式的转换

2.XML解析

搜狐新闻文件的格式为XML文件，需要对XML文件进行解析&#