文本分类与SVM

这篇博客总结了文本分类的基础知识,包括样本整理、特征选择与权重计算,特别是SVM模型的应用。讨论了特征选择的重要性,推荐了几种特征选择方法,并介绍了计算特征权重的不同方式,如词频和TF-IDF。最后提到了模型训练与预测的过程,分享了相关资源。
摘要由CSDN通过智能技术生成

  读取一些技术牛人的博客,得到一些灵感,想写一个笔记,就当这些天的一个总结吧。

1、基础知识

1.1样本整理

        文本分类属于有监督的学习,所以需要整理样本。根据业务需求,确定样本标签与数目,其中样本标签多为整数。在svm中其中如果为二分类,样本标签一般会设定为-1和1,而在朴素贝叶斯方法中,一般为0和1,但不是固定的,标签的设置和算法本身的性质有关的。

1.2特征选择

      文本分类中最著名的特征提取方法就是向量空间模型(VSM),即将样本转换为向量的形式。为了能实现这种转换,需要做两个工作:确定特征集和提取特征。

1.2.1确定特征集

     特征集其实就是词典,而且还需要给每个词设定一个编号。一般可以将所有样本的词都提取出来作为词典,而词典的编号可以随意设置,默认情况下,所有词的权重都是等同的。如何从样本中提取出一个个意义的词呢?最常用的方法就是使用分词工具。现在比较常见的分词工具有ICTCLAS(C++),Ik_Analyse2012(Java)。图1.1-1是为了方便

而在一篇博客上截得的图,简单容易理解。

  • 1
    点赞
  • 11
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值