c# 分类 机器学习_新闻文本分类基于机器学习的文本分类

本文将对新闻文本分类这个比赛进行机器学习算法方面的探索

比赛链接：https://tianchi.aliyun.com/competition/entrance/531810/introduction

特征提取

我们的数据是一系列文本是无结构数据，是没办法拿来直接计算的，也就没办法使用机器学习算法进行训练。因此我们首先得将这些无结构的数据转化为有结构的数据，那么最直接的想法就是提取特征了。比如提取出文本长度，文本中句子数等等作为特征然后进行训练。

TF-IDF

之前在task1的赛题思路里面已经介绍了TF-IDF特征提取方法，这里在介绍一下它的原理：

TF-IDF方法是文本挖掘中常用的一种提取特征的技术，旨在从无结构的文本提取出有结构的数据，从而来进行模型的训练。其中TF就是Term Frequency，就是一个单词在一个document中出现的次数

然后IDF是Inverse document frequency，具体看下面计算公式

这里N表示语料库的总文档数。

tf其实就是衡量一个单词w与文档d相关性程度，而idf是评判一个单词w在整个语料库中的关系。如果我们只是用tf来提取特征的话也就是CountVectorizer就会有这样的不足，当某些词在每个文档中都出现多次，那么这个词其实是不具备对文档进行分类的能力的。所以这时候就体现idf的作用了，因为这样出现在很多文档的词idf值是很小的。

而tfidf中和了两者的优缺点，将其相乘，这样来提取特征就会避免只使用词频的不足。

了解了原理我们就可以用我们的数据来实现了, 并且sklearn为我们提供了很完备的TFIDF方法的库：

from sklearn.feature_extraction.text import TfidfVectorizertfidf_vec = TfidfVectorizer(ngram_range=(1,2),min_df=50,max_features=20000)#这里将训练集和测试集的数据拼接起来一块进行tfidf特征提取以保证训练集测试集特征一致df_text = data_train['text'].append(data_test['text']).reset_index(drop=True)tfidf_crt = tfidf_vec.fit_transform(df_text)tfidf_crt

这里TFIDF的参数选择是很重要的，直接影响到我们最后的结果，以下将列举我认为这边重要的参数：

• ngram_range: tuple (min_n, max_n), default=(1, 1)

这里运用的是ngram的知识，后续将详细介绍，(1,1)就是表示计算的是单个字符的tfidf，(2,2)就是以两个字符为一组进行统计，也就是bigram。

• min_df: float or int, default=1

这里