文本分类的python实现-基于SVM算法

最新推荐文章于 2025-02-13 13:47:06 发布

orlandowww

最新推荐文章于 2025-02-13 13:47:06 发布

阅读量2.1w

点赞数 5

分类专栏：自然语言处理NLP 文章标签： python 文本分类 svm

本文链接：https://blog.csdn.net/orlandowww/article/details/52966608

版权

本文介绍如何使用Python的SVM算法进行文本分类。通过train.csv数据集，探讨了SVC的惩罚参数C对模型泛化能力的影响，并讨论了在某些情况下，BOOL型权重可能优于TF-IDF权重的观察。文章提供了实验代码和输出结果。

摘要由CSDN通过智能技术生成

描述

训练集为评论文本，标签为 pos,neu,neg三种分类，train.csv的第一列为文本content，第二列为label。可以单独使用SVC训练然后预测，也可以使用管道pipeline把训练和预测放在一块。
SVC的惩罚参数C：默认值是1.0。C越大，对误分类的惩罚增大，趋向于对训练集全分对的情况，这样对训练集测试时准确率很高，但泛化能力弱。C值小，对误分类的惩罚减小，允许容错，泛化能力较强。
尽管TF-IDF权重有着非常广泛的应用，但并不是所有的文本权重采用TF-IDF都会有较好的性能。在有些问题上，采用BOOL型的权重（单词在某个文档中出现记为1，不出现记为0）可以得到更好的性能。通过增加CountVectorizer的参数(binary = True)实现。

实验

代码

# -*- coding: utf-8 -*-
import csv
import jieba
jieba.load_userdict('wordDict.txt')
import numpy as np
from sklearn.feature_extraction.text import CountVectorizer
from sklearn.feature_extraction.text import TfidfTransformer
from sklearn.svm import SVC
from sklearn.pipeline import Pipeline