机器学习笔记（4） -- 文本分类实例（20Newgroups数据集）

1. 问题定义

在这个项目中会采用20Newgroups的数据，这是在网上非常流行的对文本进行分类和聚类的数据集。数据集中的数据分为两部分，一部分是用来训练算法模型的数据，一部分是用来评估算法的新数据。网上还提供了3个数据集，这里采用了20new-bydate这个数据集进行项目研究。这个数据集是按照日期进行排序的，并去掉了部分重复数据和header，共包含18846个文档。

2.导入数据

这里使用scikit-learn的loadfiles导入文档数据，文档是按照不同的分类分目录来保存的，文件目录 名称即所属类别。
在导入文档数据之前，要导入项目中所需的类库。

# 导入类库
from sklearn.datasets import load_files

from sklearn.feature_extraction.text import CountVectorizer
from sklearn.feature_extraction.text import TfidfVectorizer

from sklearn.linear_model import LogisticRegression
from sklearn.naive_bayes import MultinomialNB
from sklearn.neighbors import KNeighborsClassifier
from sklearn.svm import SVC
from sklearn.tree import DecisionTreeClassifier

from sklearn.metrics import classification_report
from sklearn.metrics import accuracy_score

from sklearn.model_selection import cross_val_score
from sklearn.model_selection import KFold
from sklearn.model_selection import GridSearchCV

from sklearn.ensemble import AdaBoostClassifier
from sklearn.ensemble import RandomForestClassifier

from matplotlib import pyplot as plt

import warnings
warnings.filterwarnings('ignore')

利用机器学习对文本进行分类，与对数值特征进行分类最大的区别是，对文本进行分类是要先提取文本特征，提取到的文本特征属性的个数是巨大的，会有超万个的特征属性。

3. 文本特征提取

文本数据属于非结构化的数据，一般要转换成结构化的数据才能够通过机器学习算法进行分类。常见的做法是将文本转换成“文档-词项矩阵”，矩阵中的元素可以使用词频或TF-IDF值等。

TF-IDF值是一种用于信息检索与数据挖掘的常用加权技术。TF的意思是词频（Term Frequency），IDF的意思是逆向文件频率（Inverse Document Frequency）。TF-IDF的主要思想是：如果某一个词或短语在一篇文章中出现的频率高&#x