机器学习（二）

CPanMirai

已于 2024-07-01 09:57:36 修改

阅读量1.7k

点赞数 69

分类专栏：推荐系统文章标签：机器学习人工智能

于 2024-06-24 09:55:01 首次发布

本文链接：https://blog.csdn.net/m0_49635911/article/details/139916289

版权

推荐系统专栏收录该内容

7 篇文章 0 订阅

订阅专栏

3.分类算法

3.1 sklearn转换器和估计器

3.1.1 转换器

特征工程的接口被称为转换器，其中转换器调用有这么几种形式：

fit_transform
fit
transform

3.1.2 估计器(在sklearn实现机器学习算法)

在sklearn里面，估计器（estimator）是一类实现了算法的API。

用于分类的估计器：
- sklearn.neighbors KNN算法
- sklearn.naive_bayes 贝叶斯
- sklearn.linear_model.LogisticRegression 逻辑回归
- sklearn.tree 决策树与随机森林
用于回归的估计器：
- sklearn.linear_model.LinearRegression 线性回归
- sklearn.linear_model.Ridge 岭回归
用于无监督学习的估计器
- sklearn.cluster.KMeans 聚类

如何使用？

实例化一个estimator.
estimator.fit(x_train , y_train) 生成模型
模型评估：
- 直接比对真实值和预测值
  - y_predict = estimator.predict(x_test)
  - y_test == y_predict
- 计算准确率
  - estimator.score(x_test,y_test)

3.2 K-近邻算法

3.2.1 什么是K-近邻算法

核心思想：根据你的”邻居“来推断出你的类别。
定义：如果一个样本在特征空间中的k个最相似（即特征空间中最邻近）的样本中的大多数属于一个类别，则该样本也属于这个类别。

其中k值
- 不能太小，容易受到异常值的影响。
- 不能太大，会受到样本不均衡的影响。
如何计算距离：
- 欧式距离
- 曼哈顿距离
- 闵可夫斯基距离

3.2.2 K-近邻算法API

sklearn.neighbors.KNeighborsClassifier(n_neighbors = 5,algorithm = 'auto')
	#  n_neighbors : int, default=5 Number of neighbors to use by default for :meth:`kneighbors` queries.
    # alogrithm : {'auto','ball_tree','kd_tree','brute'} 可选用计算最近邻居的算法
    	# algorithm : {'auto', 'ball_tree', 'kd_tree', 'brute'}, default='auto'
        # Algorithm used to compute the nearest neighbors:

        # - 'ball_tree' will use :class:`BallTree`
        # - 'kd_tree' will use :class:`KDTree`
        # - 'brute' will use a brute-force search.
        # - 'auto' will attempt to decide the most appropriate algorithm
        #   based on the values passed to :meth:`fit` method.

        # Note: fitting on sparse input will override the setting of
        # this parameter, using brute force.

3.2.3 案例：鸢尾花种类预测

from sklearn.datasets import load_iris
from sklearn.model_selection import train_test_split
from sklearn.preprocessing import StandardScaler
from sklearn.neighbors import KNeighborsClassifier


def neighbor_demo():
    """
    KNN算法进行鸢尾花种类预测
    :return:
    """
    # 1. 导入数据
    data = load_iris()
    # 2. 划分数据集
    x_train, x_test, y_train, y_test = train_test_split(data.data, data.target, test_size=0.25, random_state=10)
    # random_state可以保证每次运行结果相同
    # 3. 标准化
    transfer = StandardScaler()
    x_train = transfer.fit_transform(x_train)
    x_test = transfer.transform(x_test)  # 测试集要用训练集的标准差和均值进行标准化,不然两者就不能投射到一块,后续无法进行模型评估
    # 4. 模型训练
    estimator = KNeighborsClassifier(n_neighbors=3)
    estimator.fit(x_train, y_train)
    # 5. 模型评估
    # 方法1: 直接对比真实值和预测值
    y_predict = estimator.predict(x_test)
    print("y_predict:\n", y_predict)
    print("直接对比真实值和预测值:\n", y_test == y_predict)
    # 方法2: 计算准确率
    score = estimator.score(x_test, y_test)
    print("准确率:\n", score)
    return None


if __name__ == '__main__':
    neighbor_demo()

3.2.4 K-近邻总结

优点：简单、易于理解、易于实现、无需训练（KNN 是一种懒惰学习（lazy learning）算法，这意味着它在训练阶段并不构建模型，而是在测试阶段才进行计算。）
缺点：
- 懒惰算法，对测试样本分类时计算量大，内存开销大
- 必须指定k值，k值选择不当则分类精度不能保证
使用场景：小数据场景，几千~几万样本，具体场景具体业务去测试

3.3 模型选择与调优

3.3.1 交叉验证（cross vaildation）

交叉验证：将拿到的训练数据，分为训练和验证集。以下图为例：将数据分为4份，其中一份作为验证集。然后经过4次(组)的测试，每次都更换不同的验证集。即得到4组模型的结果，取平均值作为最终结果。又称为4折交叉验证。

在这里插入图片描述

交叉验证目的：为了让被评估的模型更加准确可信。

3.3.2 超参数搜索-网络搜索(Grid Search)

通常情况下，有很多参数是需要手动指定的，这种叫超参数。但是手动过程繁琐，所以需要对模型预设几种超参数组合。每组超参数都采用交叉验证来进行评估。最后选出最优参数组合建立模型。
模型的选择与调优API
- sklearn.model_selection.GridSearchCV(estimator,param_grid = None,cv = None)
  - 对估计器的指定参数值进行详尽搜索
  - estimator : 估计器对象
  - param_grid : 估计器参数(dict) {‘n_neighbors’:[1,3,5]}
  - cv : 指定几折交叉验证
  - score() : 准确率
- 结果分析：
  - 最佳参数：best_params_
  - 最佳结果： best_score_
  - 最佳估计器：best_estimator_
  - 交叉验证结果： cv_results_

3.3.3 鸢尾花案例增加K值调优

from sklearn.datasets import load_iris
from sklearn.model_selection import train_test_split
from sklearn.preprocessing import StandardScaler
from sklearn.neighbors import KNeighborsClassifier
from sklearn.model_selection import GridSearchCV


def neighbor_demo():
    """
    KNN算法进行鸢尾花种类预测
    :return:
    """
    # 1. 导入数据
    data = load_iris()
    # 2. 划分数据集
    x_train, x_test, y_train, y_test = train_test_split(data.data, data.target, random_state=10)
    # random_state可以保证每次运行结果相同
    # 3. 标准化
    transfer = StandardScaler()
    x_train = transfer.fit_transform(x_train)
    x_test = transfer.transform(x_test)  # 测试集要用训练集的标准差和均值进行标准化,不然两者就不能投射到一块,后续无法进行模型评估
    # 4. 模型训练
    estimator = KNeighborsClassifier()

    # 5. 参数调优
    param_dict = {"n_neighbors": [1, 3, 5, 7, 9, 11, 13, 15]}
    estimator = GridSearchCV(estimator, param_grid=param_dict, cv=5)  # 返回拟合估计器实例
    estimator.fit(x_train, y_train)
    # 5. 模型评估
    # 方法1: 直接对比真实值和预测值
    y_predict = estimator.predict(x_test)
    print("y_predict:\n", y_predict)
    print("直接对比真实值和预测值:\n", y_test == y_predict)
    # 方法2: 计算准确率
    score = estimator.score(x_test, y_test)
    print("准确率:\n", score)
    # 最佳参数
    print("最佳参数:\n", estimator.best_params_)
    print("最佳结果:\n", estimator.best_score_)
    print("最佳模型:\n", estimator.best_estimator_)
    print("交叉验证结果:\n", estimator.cv_results_)
    return None


if __name__ == '__main__':
    neighbor_demo()

3.4 朴素贝叶斯算法

朴素贝叶斯算法 = 朴素（假设特征与特征之间是相互独立的） + 贝叶斯（概率里面的贝叶斯公式）

常应用于文本分类

3.4.1 复习概率

联合概率：包含多个条件，且所有条件同时成立的概率。记作：P(A,B)
条件概率：就是事件A在另外一个事件B已经发生条件下的发生概率。记作：P(A | B)
相互独立：如果P(A,B) = P(A) * p(B),则称事件A与事件B相互独立。
贝叶斯公式：

3.4.2 应用于文章分类

在这里插入图片描述

如果计算出来某个概率为0的话，需要引入拉普拉斯平滑系数，从而去防止计算出来的分类概率为0。

在这里插入图片描述

3.4.3 API

sklearn.naive_bayes.MultinomialNB(alpha = 1.0)

aplha：拉普拉斯平滑系数，默认为 1.0 。

3.5 决策树

3.5.1 认识决策树

决策树思想的来源非常朴素，程序设计中的条件分支结构就是if-else结构，最早的决策树就是利用这类结构分割数据的一种分类学习方法。

那我们应该把那个作为条件放在第一个分支呢？也就是说我们如何去判断特征的先后顺序，接着往下看。

3.5.2 决策树分类原理

信息量用信息熵来衡量（单位为bit）
决策树的划分依据之一——信息增益
- 定义与公式
  
  特征A对训练数据集D的信息增益g(D,A)定义为集合D的信息熵H(D)与特征A给定条件下D的信息条件熵H(D|A)之差，即公式为：
公式详解：

信息熵的计算：
条件熵的计算：

注：Ck表示属于某个类别的样本数。

信息增益表示得知特征X的信息而使得类Y的信息熵减少的程度。

决策树的其他划分依据
- ID3 信息增益最大的准则
- C4.5 信息增益比最大的准则
- CART
  - 分类树：基尼系数最小的准则在sklearn中可以选择划分的默认原则
  - 优势：划分更加细致

3.5.3 决策树API

# 决策树分类器
sklearn.tree.DecisionTreeClassifier(criterion = 'gini',max_depth = None,random_state = None)
	# criterion : 默认是'gini'系数，也可以选择信息增益的熵'entropy'
    # max_depth : 树的深度大小，不能太深，否则就是出现过拟合现象，在训练数据上很厉害，在测试集上效果不佳，换句话说，太专用了，没有那么兼容
    # random_state : 随地数种子

3.5.4 决策树可视化

sklearn.tree import export_graphviz(estimator, out_file="iris.dot", feature_names=iris.feature_names)

3.5.5 鸢尾花案列

from sklearn.datasets import load_iris
from sklearn.model_selection import train_test_split
from sklearn.tree import DecisionTreeClassifier
from sklearn.tree import export_graphviz


def decision_tree():
    """
    决策树对鸢尾花进行分类
    :return:
    """
    # 1.获取数据
    iris = load_iris()
    # 2.划分数据集
    x_train, x_test, y_train, y_test = train_test_split(iris.data, iris.target, test_size=0.2, random_state=10)
    # 4.模型训练
    estimator = DecisionTreeClassifier(criterion="entropy")
    estimator.fit(x_train, y_train)
    # 5.模型评估
    # 5.1 直接比对真实值和预测值
    y_predict = estimator.predict(x_test)
    print("预测值是：", y_predict)
    print("直接比对真实值和预测值：", y_test == y_predict)
    # 5.2 计算准确率
    print("测试集的准确率是：", estimator.score(x_test, y_test))
    # 6.决策树可视化
    export_graphviz(estimator, out_file="iris.dot", feature_names=iris.feature_names)
    return None


if __name__ == '__main__':
    decision_tree()

iris.dot里面文件不是很好懂，我们借助于http://www.webgraphviz.com/网址，然后把iris.dot文件内容复制到对话框中去，点击生成图表即可。

在这里插入图片描述

3.5.6 决策树总结

优点：简单的理解和解释，树木可视化。
缺点：决策树树的深度控制不好，就会过拟合现象。
改进：
- 剪枝cart算法（决策树API当中已经实现）
- 随机森林

3.6 集成学习方法之随机森林

3.6.1 什么是集成学习方法

集成学习通过几个模型组合来解决单一预测问题。它的工作原理是生成多个分类器/模型，各自独立地去学习和做出预测。这些预测最后结合成组合预测，因此优于任何一个单分类的做出预测。

3.6.2 什么是随机森林

在机器学习中，随机森林是一个包含多个决策树的分类器，并且其输出的类别是由个别数输出的类别的众数而定。

3.6.3 随机森林原理过程

根据下列算法而建造每棵树：

用N表示训练用例(样本)的个数，M表示特征数目。
- 一次随机选出一个样本，重复N次。（有可能出现重复的样本）
- 随机的去选出m个特征，m << M,建立决策树。（有特征降维的效果）
采用bootstrap抽样

为什么采用BootStrap抽样？

为什么要随机抽样训练集？
- 如果不进行随机抽样，每棵树的训练集都一样，那么最终训练出的树分类结果也是完全一样的。
为什么要有放回的抽样？
- 如果不是有放回的抽样，那么每棵树的训练样本都是不同的，每颗树训练出来都是由很大的差异的；而随地森林最后分类取决于多颗树的投票结果。

3.6.4 API

# 随机森林分类器
class sklearn.ensemble import RandomForestClassifier(n_estimators = 100,criterion = 'gini',max_depth = None,min_samples_split = 2,bootstrap = true,random_state = None)
	# 列举是常用的参数，其他的可以看源码
    # n_estimators : int, default=100 The number of trees in the forest.
    # criterion : {"gini", "entropy", "log_loss"}, default="gini" 分割特征的测量方法
    # max_depth : int, default=None 
    # min_samples_split : int or float, default=2
    # bootstrap : bool, default=True 在构建树时需要方法抽样
    # random_state : int, RandomState instance or None, default=None