文本分类实例

Python机器学习项目的模板

1.定义问题
a)导入类库
b)导入数据集

from sklearn.datasets import load_files
from sklearn.feature_extraction.text import CountVectorizer
from sklearn.feature_extraction.text import TfidfVectorizer
from sklearn.linear_model import LogisticRegression
from sklearn.naive_bayes import MultinomialNB
from sklearn.neighbors import KNeighborsClassifier
from sklearn.svm import SVC
from sklearn.tree import DecisionTreeClassifier
from sklearn.metrics import classification_report
from sklearn.metrics import accuracy_score
from sklearn.model_selection import cross_val_score
from sklearn.model_selection import KFold
from sklearn.model_selection import GridSearchCV
from sklearn.ensemble import AdaBoostClassifier
from sklearn.ensemble import RandomForestClassifier
from matplotlib import pyplot as plt
#导入数据
categories = ['alt.atheism','rec.sport.hockey','comp.graphics','sci.crypt',
'comp.os.ms-windows.misc','sci.electronics','comp.sys.ibm.pc.hardware',
'sci.med','comp.sys.mac.hardware','sci.space','comp.windows.x','soc.religion.christian',
'misc.forsale','talk.politics.guns','rec.autos','talk.politics.guns','rec.autos',
'talk.politics.mideast','rec.motorcycles','talk.politics.misc','rec.sport.baseball',
'talk.religion.misc'
]
#导入训练数据
train_path = '/home/hadoop/DataSet/20news-bydate/20news-bydate-train'
dataset_train = load_files(container_path=train_path,categories=categories)
#导入评估数据
test_path = '/home/hadoop/DataSet/20news-bydate/20news-bydate-test'
dataset_test = load_files(container_path=test_path,categories=categories)

利用机器学习对文本进行分类，与对数值特征进行分类最大的区别是：对文本进行分类时要先提取文本特征，相对于之前的项目来说，会有超过万个的特征属性，甚至会超过10万个。

2.文本特征提取
文本特征属于非结构化的数据，一般要转换成结构化的数据才能通过机器学习算法进行文本分类。常见的做法是将文本转换成“文档-词项矩阵”，矩阵中的元素可以使用词频或TF-IDF值等。

TF-IDF值是一种用于信息检索或数据挖掘的常用加权技术。TF的意思是词频，IDF的意思是逆向文件频率。TF-IDF的主要思想是：如果某一个词或短语在一篇文章中出现的频率高，并且在其他文章中很少出现，则认为此词或短语具有很好的类别区分能力，适合用于分类。TF-IDF实际上是TF*IDF。IDF的主要思想是：如果包含词条t的文档越少，也就是n越小，IDF越大，则说明词条t具有很好的类别区分能力。如果某一类文档C中包含词条t的文档数为m，而其他类包含t的文档总数为k，显然所有包含t的文档数n=m+k，当m大的时候，n也大，按照IDF公式得到的IDF的值小，则说明该词条t的类别区分能力不强。TF指的是某一个给定词的词语在该文件中出现的频率，这是对词数的归一化，以防止它偏向长的文件。IDF是一个词语普遍重要性的度量，某一个特定词语的IDF，可以由总文件数目除以包含该词语的文件的数目，再将得到的商取对数得到。

#数据准备和理解
#计算词频
count_vect = CountVectorizer(stop_words='english',decode_error='ignore')
X_train_counts = count_vect.fit_transform(dataset_train.data)
#查看数据维度
print(X_train_counts.shape)

#计算TF-IDF
tf_transformer = TfidfVectorizer(stop_words='english',decode_error='ignore')
X_train_counts_tf = tf_transformer.fit_transform(dataset_train.data)
#查看数据维度
print(X_train_counts_tf.shape)

这里通过两种方法进行了文本特征的提取，并且查看了数据维度，得到的数据维度还是非常巨大的。在后续的项目中，将使用TF-IDF进行分类模型的训练。因为TF-IDF的数据维度巨大，并且自用提取的特征数据，进一步对数据进行分析的意义不大，因此只简单地查看数据维度的信息。

3.评估算法

#设置评估算法的基准
num_folds = 10
seed = 7
scoring = 'accuracy'

线性算法：LR（逻辑回归）
非线性算法：CART，SVM，朴素贝叶斯，KNN

#评估算法
#生成算法模型
models = {}
models['LR'] = LogisticRegression()
models['SVM'] = SVC()
models['CART'] = DecisionTreeClassifier()
models['MNB'] = MultinomialNB()
models['KNN'] = KNeighborsClassifier()

#比较算法
results = []
for key in models:
   kfold = KFold(n_splits=num_folds,random_state=seed)
   cv_results =
   cross_val_score(models[key],X_train_counts_tf,dataset_train.target,cv=kfold,scoring=scoring)
   results.append(cv_results)
   print('%s:%f(%f)'%(key,cv_results.mean(),cv_results.std()))

#箱线图比较算法
fig = plt.figure()
fig.suptitle('Algorithm Comparison')
ax = fig.add_subplot(111)
plt.boxplot(results)
ax.set_xticklabels(models.keys())
plt.show()

算法调参
通过上面的分析发现，逻辑回归（LR）和朴素贝叶斯分类器（MNB）算法值得进一步优化。下面对这两个算法进行调参，进一步提高算法的准确度。

逻辑回归调参
在逻辑回归中的超参数是C。C是目标的约束函数，C值越小则正则化强度越大。对C进行调参，每次给C设定一定数量的值，如果临界值是最优参数，重复这个步骤，直到找到最优值。

#算法调参
#调参LR
param_grid = {}
param_grid['C'] = [0.1,5,13,15]
model = LogisticRegression()
kfold = KFold(n_splits=num_folds,random_state=seed)
grid = GridSearchCV(estimator=model,param_grid=param_grid,scoring=scoring,cv=kfold)
grid_result = grid.fit(X=X_train_counts_tf,y=dataset_train.target)
print('最优:%s使用%s'%(grid_result.best_score_,grid_result.best_params_))

朴素贝叶斯分类器调参
朴素贝叶斯分类器有一个alpha参数，该参数是一个平滑参数，默认值为1.0。我们可以对这个参数进行调参，以提高算法的准确度。

#调参MNB
param_grid = {}
param_grid['alpha'] = [0.001,0.01,0.1,1.5]
model = MultinomialNB()
kfold = KFold(n_splits=num_folds,random_state=seed)
grid = GridSearchCV(estimator=model,param_grid=param_grid,scoring=scoring,cv=kfold)
grid_result = grid.fit(X=X_train_counts_tf,y=dataset_train.target)
print('最优:%s使用%s'%(grid_result.best_score_,grid_result.best_params_))

集成算法
除了调参，提高算法准确度的方法是使用集成算法。下面对两种集成算法进行比较，看看能否进一步提高模型的准确度。
1.随机森林
2.AdaBoost

#集成算法
ensembles = {}
ensembles['RF'] = RandomForestClassifier()
ensembles['AB'] = AdaBoostClassifier()
#比较集成算法
results = []
for key in ensembles:
   kfold = KFold(n_splits=num_folds,random_state=seed)
   cv_results =
   cross_val_score(ensembles[key],X_train_counts_tf,dataset_train.target,cv=kfold,scoring=scoring)
   results.append(cv_results)
   print('%s:%f(%f)'%(key,cv_results.mean(),cv_results.std()))

集成算法调参
对随机森林算法进行优化，随机森林有一个重要的参数n_estimators，下面对n_estimators进行调参优化，争取找到最优解。

#调参RF
param_grid = {}
param_grid['n_estimators'] = [10,100,150,200]
model = RandomForestClassifier()
kfold = KFold(n_splits=num_folds,random_state=seed)
grid = GridSearchCV(estimator=model,param_grid=param_grid,scoring=scoring,cv=kfold)
grid_result = grid.fit(X=X_train_counts_tf,y=dataset_train.target)
print('最优:%s使用%s'%(grid_result.best_score_,grid_result,best_params_))

确定最终模型

#生成模型
model = LogisticRegression(C=13)
model.fit(X_train_counts_tf,dataset_train_target)
X_test_counts = tf_transformer.transform(dataset_test.data)
predictions = model.predict(X_test_counts)
print(accuracy_score(dataset_test.target,predictions))
print(classification_report(dataset_test.target,predictions))