sklearn——朴素贝叶斯文本分类5

在这次的贝叶斯试验中，用到了交叉验证，就是假如把数据集分成10份，每次取其中的一份作为test数据，会得到10个测试的准确率，我们可以求10份的平均值，作为这一次的准确率。

当我们求出测试集的矩阵大小为(18846, 173452),我们可以看出17万个词，其实在选择特征时用不了这么多，接下来我们看一下选择特征维数为多少时没会出现好的结果。

代码：

from sklearn.datasets import fetch_20newsgroups
from sklearn.cross_validation import cross_val_score
from sklearn.feature_extraction.text import CountVectorizer
import matplotlib.pyplot as plt
from sklearn.naive_bayes import MultinomialNB
news=fetch_20newsgroups(subset='all')
X,Y=news.data,news.target
k=list(range(10000,170000,10000))
k_score=[]
for i in k:
    count=CountVectorizer(analyzer='word',stop_words='english' ,max_features=i)
    X_count=count.fit_transform(X)
    mnb_count=MultinomialNB()
#     mnb_count.fit(X_count,Y)
    scores=cross_val_score(mnb_count,X_count,Y,cv=10,scoring='accuracy')
    score=scores.mean()
    print(score)
    print("维数",X_count.get_shape())
    k_score.append(score)
plt.plot(k,k_score)
plt.show()

结果：

看图我们可以看出在选择特征为10万时，准确率是最高的，之后就会下降，说明出现了过拟合的现象。所以我们选择10万个特征就可以啦