机器学习算法基础——朴素贝叶斯、模型的评估、选择和调优

朴素贝叶斯

朴素——特征独立

概率知识

联合概率：包含多个条件，且所有条件同时成立。P(A,B)=P(A)P(B)

条件概率：就是事件A在另外一个事件B已经发生条件下的发生概率，记作：P（A|B）。

特性：P（A1，A2|B）= P（A1|B）P（A2|B）（条件A1，A2相互独立）。

朴素贝叶斯——贝叶斯公式

$P(C|W)=\frac{P(W|C)P(C)}{P(W)}$
注：文档分类为例，W为文档的特征值（频数统计、预测文档提供），C为文档类别，公式可以理解为：
$P(C|F1,F2,\dots ）=\frac{P(F1,F2,\dots |C）P（C）}{P（F1,F2,\dots ）}$
其中，C可以是不同类别。

公式分为三部分：
●P( C )：每个文档类别的概率（某文档类别数/总文档数量）
●P(W|C)：给定类别下特征（被预测文档中出现的词）的概率
  计算方法：P（F1|C）=Ni/N （在训练文档中计算）
  Ni 为该F1词在C类别所有文档中出现的次数
  N 为所属类别下
●P(F1,F2,…）预测文档中每个词的频率

拉普拉斯平滑

在词频列表里，如果有很多词出现的次数为0，那么很可能计算结果很多都为0，这显然是不合理的。
解决方法：拉普拉斯平滑系数
$P(F1|C)=\frac{Ni+\alpha }{N+\alpha m}$
$\alpha$为指定的系数一般为1，m为训练文档中统计出的特征词个数。

sklearn朴素贝叶斯实现API

类：sklearn.naive_bayes.MultinomialNB

sklearn.naive_bayes.MultinomialNB(alpha = 1.0)
●朴素贝叶斯分类
●alpha：拉普拉斯平滑系数

朴素贝叶斯算法案例

sklearn20类新闻分类
20个新闻组数据集包含20个主题的18000个新闻组帖子
流程：
1、加载20类新闻数据，并进行分割
2、生成文章特征词
3、朴素贝叶斯estimator流程进行预估

from sklearn.model_selection import train_test_split
from sklearn.datasets import fetch_20newsgroups
from sklearn.feature_extraction.text import TfidfVectorizer  #特征抽取
from sklearn.naive_bayes import MultinomialNB

def naviebayes():
    ##朴素贝叶斯进行文本分类
    news = fetch_20newsgroups(subset='all')
    
    ##进行数据分割
    x_train,x_test,y_train,y_test = train_test_split(news.data,news.target,test_size=0.25)
    
    #对数据集进行特征抽取
    tf = TfidfVectorizer()
    
    #统计训练集当中每篇文章 词的列表的重要性
    x_train = tf.fit_transform(x_train)
    print(tf.get_feature_names())
    #x_test和x_train应该使用同一个transform,否则会导致维度不同
    x_test = tf.transform(x_test) 
    
    #进行朴素贝叶斯算法的预测
    mlt = MultinomialNB(alpha=1.0)
    mlt.fit(x_train,y_train)
    y_predict = mlt.predict(x_test)
    print('预测的文章类别为:',y_predict)
    #得出准确率
    print('准确率为：',mlt.score(x_test,y_test))
    
    return None

if __name__ == '__main__':
    naviebayes()

朴素贝叶斯分类优缺点

优点：
（1）朴素贝叶斯模型发源于古典数学理论，有稳定的分类效率。
（2）对缺失数据不太敏感，算法也比较简单，不需要调参，常用于文本分类。
（3）分类准确度高，速度快。
缺点：
（1）需要知道先验概率P(F1,F2,…|C)，因此在某些时候会由于假设的先验模型的原因导致预测效果不佳。训练集误差大，训练结果肯定不好。
（2）由于使用了样本属性独立性的假设，所有如果样本属性有关联时效果不好。

分类模型的评估

estimator.score()：一般最常见使用的是准确率，即预测结果正确的百分比。

混淆矩阵

在分类任务下，预测结果(Predicted Condition)与正确标记(True Condition)之间存在四种不同的组合，构成混淆矩阵(适用于多分类)。

精确率(Precision)与召回率(Recall)

1.精确率：预测结果为正例样本中真实为正例的比例（查得准）
2.召回率：真实为正例的样本中预测结果为正例的比例（查的全，对正样本的区分能力）。
3.其他分类标准，F1-score，反映了模型的稳健型

分类模型评估API

类：sklearn.metrics.classification_report

sklearn.metrics.classification_report(y_true, y_pred, target_names=None)
  y_true：真实目标值
  y_pred：估计器预测目标值
  target_names：目标类别名称
  return：每个类别精确率与召回率

模型的选择与调优

交叉验证

1.交叉验证：为了让被评估的模型更加准确可信。
2.交叉验证过程：
将拿到的数据，分为训练和验证集。以下图为例：将数据分成5份，其中一份作为验证集。然后经过5次(组)的测试，每次都更换不同的验证集。即得到5组模型的结果，取平均值作为最终结果。又称5折交叉验证。

网格搜索

超参数搜索-网格搜索：
通常情况下，有很多参数是需要手动指定的（如k-近邻算法中的K值），这种叫超参数。但是手动过程繁杂，所以需要对模型预设几种超参数组合。每组超参数都采用交叉验证来进行评估。最后选出最优参数组合建立模型。

超参数搜索-网格搜索API

类：sklearn.model_selection.GridSearchCV

sklearn.model_selection.GridSearchCV(estimator, param_grid=None,cv=None)
  对估计器的指定参数值进行详尽搜索
  estimator：估计器对象
  param_grid：估计器参数(dict){“n_neighbors”:[1,3,5]}
  cv：指定几折交叉验证
  fit：输入训练数据
  score：准确率
结果分析：
  best_score_:在交叉验证中测试的最好结果
  best_estimator_：最好的参数模型
  cv_results_:每次交叉验证后的测试集准确率结果和训练集准确率结果

【K—近邻算法的网格搜索】

from sklearn.model_selection import GridSearchCV
knn = KNeighborsClassifier(n_neighbors=)
#构建一些参数的值进行搜索
param = {'n_neighbors':[3,5,10]}

#进行网格搜索
gc = GridSearchCV(knn,param_grid=param,cv=10)
gc.fit(x_train,y_train)

#预测准确率
print('在测试集上的准确率：',gc.score(x_test,y_test))
print('在交叉验证中最好的结果：',gc.best_score_)
print('选择最好的模型是：',gc.best_estimator_)
print('每个超参数每次交叉验证的结果：',gc.cv_results_)