关闭

基于汉字字频特征实现99.99%准确率的新闻文本分类器(二)

标签: libSvm文本分类汉字字频神经网络
183人阅读 评论(0) 收藏 举报
分类:


基于汉字字频特征实现99.99%准确率的新闻文本分类器(一)

基于汉字字频特征实现99.99%准确率的新闻文本分类器(二)

基于汉字字频特征实现99.99%准确率的新闻文本分类器(三)

回顾

上一节中,已经下载解压了八万个文本文件在D盘的的ClassFile目录下。

本节,将提取它们的字频特征,并进行分类。我们将看到传说中的99.xx%......

源代码

点击下载生成字频特征数据文件的源代码:PreData.zip (15.57 kb)

有关此源代码的详细说明,将在后续的文章中详解。现在,先让我们抓紧看到那个传说中的99...%

首先,解压缩源代码,然后打开其中的PreData.sln项目文件

当VS加载了项目后(如果计算机是老版本的VS并且没有.Net Framework 4.5的话,点击修改为.Net Framework 4.0),保证D盘有足够的剩余空间(700M左右)点击三角形,即可编译代码,并运行汉字字频特征抽取程序。

程序将会加载D盘ClassFile目录下的文本数据,进行二次扫描。并生成特征数据。

激动人心第一次

激动人心的时刻要来临了,有了数据,就可以...

我们先用流行的libSvm工具包中的svm-train.exe工具(libsvm官网下载)进行一次训练,看看这次的特征数据能带来什么惊喜。如下图所示,输入命令 svm-train.exe -v 4 -c 1000 data.txt

参数含义:将八万条特征数据分成四份,交叉验证,惩罚系数1000。

经过漫长(在笔者的计算机上是约一个小时)的等待,我们得到了:

恩,这个结果,可是传统的词频方式的特征很难达到的。而且,是在我们对数据没有进行复杂的数据清洗的前提下,粗犷的得到的。

好吧,我承认,这个数据和99.xx%还有0.xx%的距离。那就让我们再向前迈出一小步吧。

下节预告

嗯,本节,我们生成了基于汉字字频的特征数据集,并且,我们什么都没有额外做的情况下,用SVM的训练工具,得到了一个离99%是那么近的一个模型。

下一节,我们将祭出一个五层的人工神经网络模型。他将带来....

太晚了,休息先。

基于汉字字频特征实现99.99%准确率的新闻文本分类器(三)

0
0

猜你在找
【直播】机器学习&数据挖掘7周实训--韦玮
【套餐】系统集成项目管理工程师顺利通关--徐朋
【直播】3小时掌握Docker最佳实战-徐西宁
【套餐】机器学习系列套餐(算法+实战)--唐宇迪
【直播】计算机视觉原理及实战--屈教授
【套餐】微信订阅号+服务号Java版 v2.0--翟东平
【直播】机器学习之矩阵--黄博士
【套餐】微信订阅号+服务号Java版 v2.0--翟东平
【直播】机器学习之凸优化--马博士
【套餐】Javascript 设计模式实战--曾亮
查看评论
* 以上用户言论只代表其个人观点,不代表CSDN网站的观点或立场
    个人资料
    • 访问:918次
    • 积分:57
    • 等级:
    • 排名:千里之外
    • 原创:5篇
    • 转载:0篇
    • 译文:0篇
    • 评论:0条
    文章分类
    文章存档