机器学习基础——KNN和朴素贝叶斯（笔记三）

一、sklearn转化器和预估器

转换器——特征工程的父类：

1. 实例化（实例化的是一个转化器类（Transformer））
2. 调用fit_transform(对于文档建立分类词频矩阵，不能同时调用)

估计器（sklearn机器学习算法的实现）：

1.用于分类的估计器：

1. Sklearn.neughbors k-近邻算法
2. Sklearn.naive_bayes 贝叶斯
3. Sklearn.linear_model.LogisticRegression 逻辑回归
4. Sklearn.tree 决策树与随机森林

2.用于回归的分类器：

Sklearn.linear_model.LinearRegression 线性回归

Sklearn.linear_model.Ridge 岭回归

3.用于无监督学习的估计器

Sklearn.cluster.KMeans 聚类

步骤流程：

1. 实例化一个estimator
2. Estimator.fit(x_train,y_train)计算——调用完毕，模型生成
3. 模型评估：

（1）：直接比对真实值和预测值

       Y_predict=estimator.predict(x_text)

       Y_test==y_predict

（2）：计算准确率

       Estimator.score(x_test,y_test)

二、K近邻算法（KNN）

K Nearest Neighbor算法又叫KNN算法，这个算法是机器学习里面经典算法。

定义：如果一个样本在特征空间中的k个最相似（即特征空间中最近邻）的样本中的大多数属于某一个类别，则该样本也属于这个类别。

距离公式：俩个样本的距离可以通过如下公式计算，又叫欧氏距离

比如说a(a1,a2,a3),b(b1,b2,b3)

                                               

API:sklearn.neighbors.KNeighborsClassifier(n_neighbors=5,algorithm=’auto’)

       N_neighbors:int,可选（默认=5），k_neighbors查询默认使用的邻居数

       Algorithm:{‘auto’,’ball_tree’,’kd_tree’,’brute’},可选用于计算机最近邻居的算法：‘ball_tree’将会使用BallTree,’kd_tree’将使用KDTree.’auto’将尝试根据传递给fit方法的值来决定最合适的算法。

from sklearn.datasets import load_iris
from sklearn.model_selection import train_test_split
from sklearn.preprocessing import StandardScaler
from sklearn.neighbors import KNeighborsClassifier

def knn_iris():
    """
    用KNN算法对鸢尾花进行分类
    :return:
    """
    #(1)获取数据集
    iris=load_iris()

    #（2）划分数据集
    x_train,x_test,y_train,y_test=train_test_split(iris.data,iris.target,random_state=6)
    #（3）特征工程：标准化
    transfer=StandardScaler()
    x_train=transfer.fit_transform(x_train)
    x_test=transfer.transform(x_test)
    #（4）KNN算法评估器
    estimator=KNeighborsClassifier(n_neighbors=3)
    estimator.fit(x_train,y_train)
    #（5）模型评估
    #方法1：直接比对真实值和预测值
    y_predict=estimator.predict(x_test)
    print("y_predict:\n",y_predict)
    print("直接比对真实值和预测值：\n",y_test==y_predict)
    #方法2：计算准确率
    score=estimator.score(x_test,y_test)
    print("准确率：\n",score)
    return None

 

优点：简单，易于理解，易于实现，无须训练

缺点：1.懒惰算法，对测试样本分类时的计算量大，内存开销大

2.必须指定K值，K值不当则分类精度不能保证

使用场景：小数据场景，几千~几万样本

三、模型选择与调优

交叉验证：将拿到的训练数据，分为训练和验证集。以下图为例：将数据分成四份，其中一份作为验证集，然后经过4次的测试，每次都更换不同的验证集。即得到4组模型的结果，取平均值作为最终结果，又称4折交叉验证

超参数搜索—网络搜索（Grid Search）:

有很多参数是需要动手指定的（如K-近邻算法中的K值），这种叫超参数。每组超参数都采用交叉验证来进行评估。最后选出最优参数组合建立模型。

API：sklearn.model_selection.GridSearchCV(estimator,param_grid=None,cv=None)

1. 1. 对估计器的指定参数值进行详尽搜索
   2. Estimator:估计器对象
   3. Param_grid:估计器参数(dict){“n_neighbors”:[1,3,5]}
   4. Cv:指定几折交叉验证
   5. Fit():输入训练数据
   6. Secore():准确率 
   7. 结果分析：
      1. 最佳参数：best_params_
      2. 最佳结果：best_score_
      3. 最佳估计器：best_estimator_
      4. 交叉验证结果：cv_results_

from sklearn.datasets import load_iris
from sklearn.model_selection import train_test_split
from sklearn.preprocessing import StandardScaler
from sklearn.neighbors import KNeighborsClassifier
from sklearn.model_selection import GridSearchCV

def knn_iris_gscv():
    """
    用KNN算法对鸢尾花进行分类，添加网格搜索和交叉验证
    :return:
    """
    #(1)获取数据集
    iris=load_iris()

    #（2）划分数据集
    x_train,x_test,y_train,y_test=train_test_split(iris.data,iris.target,random_state=6)
    #（3）特征工程：标准化
    transfer=StandardScaler()
    x_train=transfer.fit_transform(x_train)
    x_test=transfer.transform(x_test)
    #（4）KNN算法评估器
    estimator=KNeighborsClassifier()
    #加入网格搜索与交叉验证
    #参数准备
    param_dict={"n_neighbors":[1,3,5,7,9,11]}
    estimator=GridSearchCV(estimator,param_grid=param_dict,cv=10)
    estimator.fit(x_train,y_train)
    #（5）模型评估
    #方法1：直接比对真实值和预测值
    y_predict=estimator.predict(x_test)
    print("y_predict:\n",y_predict)
    print("直接比对真实值和预测值：\n",y_test==y_predict)
    #方法2：计算准确率
    score=estimator.score(x_test,y_test)
    print("准确率：\n",score)
    #查看参数
    print("最佳参数：\n",estimator.best_params_)
    print("最佳结果：\n",estimator.best_score_)
    print("最佳估计器：\n",estimator.best_estimator_)
    print("交叉验证结果：\n",estimator.cv_results_)
    return None

 

四、朴素贝叶斯

概率定义：概率定义为一件事情发生的可能性P(X):取值在[0,1]

联合概率：包含多个条件，且所有条件同时成立的概率

              记作：P(A，B)

条件概率：就是事件A在另外一个事件B已经发生条件下的发生概率

              记作：P(A|B)

相互独立：如果P(A，B)=P(A)*P(B),则称事件A与事件B相互独立

贝叶斯公式：

公式：

P(C):每个文档类别的概率（某文档类别数/总文档数量）

P(W|C):给定类别下特征（被预测文档中出现的词）的概率

       计算方法：P(F1|C)=Ni/N（训练文档中去计算）

              Ni为该F1词在C类别所有文档中出现的次数

              N为所属类别C下的文档所有词出现的次数和

P(W)预测文档中每个词的概率

注：w为给定文档的特征值（频数统计，预测文档提供），c为文档类别

朴素？假设特征与特征之间是相互独立的

朴素贝叶斯算法：朴素+贝叶斯

应用场景：文本分类

拉普拉斯平滑系数：

       A为指定的系数一般为1，m为训练文档中统计出的特征词个数

注：加拉普莱斯都要加上

API:sklearn.naive_bayes.MultinomialNB(alpha=1.0)

       朴素贝叶斯分类

       Alpha：拉普拉斯平滑系数

from sklearn.datasets import load_iris
from sklearn.model_selection import train_test_split
from sklearn.preprocessing import StandardScaler
from sklearn.neighbors import KNeighborsClassifier
from sklearn.model_selection import GridSearchCV
from sklearn.datasets import fetch_20newsgroups
from sklearn.feature_extraction.text import TfidfVectorizer
from sklearn.naive_bayes import MultinomialNB

def nb_news():
    """
    用0朴素贝叶斯算法对新闻进行分类
    :return:
    """
    #（1）获取数据
    fetch_20newsgroups(subset="all")

    #（2）划分数据集
    x_train,x_test,y_train,y_test=train_test_split(news.data,news.target)
    #（3）特征工程：文本特征抽取—tfidf
    transfer=TfidfVectorizer()
    x_train=transfer.fit_transform(x_train)
    x_test=transfer.transform(x_test)

    #(4)朴素贝叶斯算法预估器流程
    estimator=MultinomialNB()
    estimator.fit(x_train,y_train)
    #（5）模型评估
    # 方法1：直接比对真实值和预测值
    y_predict = estimator.predict(x_test)
    print("y_predict:\n", y_predict)
    print("直接比对真实值和预测值：\n", y_test == y_predict)
    # 方法2：计算准确率
    score = estimator.score(x_test, y_test)
    print("准确率：\n", score)
    return None

 

优点：

1. 对朴素贝叶斯模型发源于古典数学理论，有稳定的分类效率
2. 对缺失数据不太敏感，算法也比较简单，常用于文本分类
3. 分类准确度高，速度快

缺点：

1. 由于使用了样本属性独立的假设，所以如果特征属性有关联其效果不好