常见的模型评估指标与方法大全、汇总_常用评价模型指标

---

目录

前言：

第1章 模型评估概述

1.1 什么是模型评估

1.2 模型评估的类型

1.3 过拟合、欠拟合

1.4 模型泛化能力

第2章 常见的分类模型评估指标

2.1 混淆矩阵：

2.4 召回率recall：

2.5 F1-score：主要用于评估模型的稳健性

2.6 AUC指标：主要用于评估样本不均衡的情况

2.7 AUC

2.8 PR曲线

第3章 常见的回归模型评估指标（容易理解）

3.1 向量的距离

3.2 平均绝对误差（MAE）

3.3 平均平方误差（MSE）

3.4 均方根误差（RMSE）

3.5 解释变异

3.6 决定系数

第4章 常见的聚类模型评估指标

4.1 兰德指数

4.2 互信息

4.3 轮廓系数

---

前言：

简单的讲，模型评估就是评估训练好的模型的好坏。

本文主要目的是汇总常见的各种指标。

至于每个指标的含义以及各自的代码示例，将在后续的章节详解介绍。

第1章 模型评估概述

1.1 什么是模型评估

模型评估是对训练好的模型性能进行评估, 模型评估是模型开发过程不可或缺的一部分。它有助于发现表达数据的最佳模型和所选模型将来工作的性能如何。

1.2 模型评估的类型

机器学习的任务有回归,分类和聚类，针对不同的任务有不同的[评价指标。按照数据集的目标值不同，可以把模型评估分为分类模型评估和回归模型评估。

1.3 过拟合、欠拟合

（1）欠拟合

欠拟合 （或称：拟合不足 、欠配 ，英文：underfitting
）是指模型在训练数据上没有获得充分小的误差．造成欠拟合的原因通常是模型学习能力过低，具体地说，就是模型参数过少或者结构过于简单，以至于无法学习到数据的内在结构和特征．例如，当用一个线性模型去拟合非线性数据时，会发生欠拟合．由此，可以通过增加模型参数和复杂度，提高学习能力，从而解决欠拟合问题．与欠拟合相对应的，是过度拟合．

（2） 过拟合

是指为了得到一致假设而使假设变得过度严格。

避免过拟合是分类器设计中的一个核心任务。

通常采用增大数据量和测试样本集的方法对分类器性能进行评价。

无论是欠拟合还是过拟合，都是模型泛化能力差的表现。

1.4 模型泛化能力

泛化能力（generalization
ability）是指[机器学习算法]
“机器学习算法”)对新鲜样本 的适应能力。

机器学习的目的是学到隐含在数据背后的规律 ，对具有同一规律的学习集以外的数据，经过训练的网络也能给出合适的输出，该能力称为泛化能力。

规律适用于现有数据，同样也适用于 新鲜数据。

第2章 常见的分类模型评估指标

2.1 混淆矩阵：

混淆矩阵是监督学习中的一种可视化工具，主要用于模型的分类结果 和实例的真实信息 的比较 。

矩阵中的每一行代表实例的预测类别，每一列代表实例的真实类别。

2.2 准确率Accuracy：

准确率是最常用的分类性能指标。

Accuracy = (TP+TN)/(TP+FN+FP+TN)

预测正确的数占样本总数的比例，即正确预测的正反例数 /总数。

2.3 精确率（Precision） ：

精确率容易和准确率被混为一谈。

其实，精确率只是针对预测正确的正样本而不是所有预测正确的样本。

表现为预测出是正的里面有多少真正是正的。可理解为查准率。

Precision = TP/(TP+FP)

即正确预测的正例数 /预测正例总数

2.4 召回率recall：

召回率表现出在实际正样本中，分类器能预测出多少。

与真正率相等，可理解为查全率。正确预测为正占全部正校本的比例

Recall = TP/(TP+FN)，即正确预测的正例数 /实际正例总数

2.5 F1-score： 主要用于评估模型的稳健性

F值是精确率和召回率的调和值，更接近于两个数较小的那个，所以精确率和召回率接近时，F值最大。很多推荐系统的评测指标就是用F值的。

2/F1 = 1/Precision + 1/Recall

2.6 AUC指标： 主要用于评估样本不均衡的情况

逻辑回归里面，对于正负例的界定，通常会设一个阈值，大于阈值的为正类，小于阈值为负类。如果我们减小这个阀值，更多的样本会被识别为正类，提高正类的识别率，但同时也会使得更多的负类被错误识别为正类。为了直观表示这一现象，引入ROC。根据分类结果计算得到ROC空间中相应的点，连接这些点就形成ROC
curve，横坐标为False Positive Rate(FPR假正率)，纵坐标为True Positive
Rate(TPR真正率)。一般情况下，这个曲线都应该处于(0,0)和(1,1)连线的上方,如图：

2.7 AUC

AUC（Area Under
Curve）被定义为ROC曲线下的面积(ROC的积分)，通常大于0.5小于1。随机挑选一个正样本以及一个负样本，分类器判定正样本的值高于负样本的概率就是
AUC 值。AUC值(面积)越大的分类器，性能越好，如图

2.8 PR曲线

PR曲线的横坐标是精确率P，纵坐标是召回率R。评价标准和ROC一样，先看平滑不平滑（蓝线明显好些）。一般来说，在同一测试集，上面的比下面的好（绿线比红线好）。当P和R的值接近时，F1值最大，此时画连接(0,0)和(1,1)的线，线和PRC重合的地方的F1是这条线最大的F1（光滑的情况下），此时的F1对于PRC就好像AUC对于ROC一样。一个数字比一条线更方便调型。

第3章 常见的回归模型评估指标（容易理解）

拟合（回归）问题比较简单，所用到的衡量指标也相对直观。

假设yiyi是第ii个样本的真实值，ŷ iy^i是对第ii个样本的预测值。

3.1 向量的距离

（1）欧式距离/几何距离

欧几里得度量（euclidean
metric）（也称欧氏距离）是一个通常采用的距离定义，指在m维空间中两个点之间的真实距离，或者向量的自然长度（即该点到原点的距离）。

在二维和三维空间中的欧氏距离就是两点之间的实际距离。

（2）曼哈顿距离

出租车几何或曼哈顿距离（Manhattan
Distance）是由[十九世纪]的[赫尔曼·闵可夫斯基]所创[词汇]，是种使用在几何度量空间的几何学用语，用以标明两个点在标准坐标系上的绝对轴距总和。

图1中红线代表曼哈顿距离，绿色代表[欧氏距离]，也就是[直线距离]，而蓝色和黄色代表等价的曼哈顿距离。[曼哈顿]距离——两点在南北方向上的距离加上在东西方向上的距离，即d(i,j)=|xi-xj|+|yi-yj|。对于一个具有正南正北、正东正西方向规则布局的城镇街道，从一点到达另一点的距离正是在南北方向上旅行的距离加上在东西方向上旅行的距离，因此，曼哈顿距离又称为出租车
距离（出租车在两点之间的行驶距离）

（2）马氏距离

马哈拉诺比斯距离 Mahalanobis
Distance，简称马氏距离，是在规范化的主成分空间中的欧氏距离。所谓规范化的主成分空间就是利用主成分分析对一些数据进行主成分分解。再对所有主成分分解轴做归一化，形成新的坐标轴。由这些坐标轴张成的空间就是规范化的主成分空间。

马氏距离(Mahalanobis
Distance)是一种距离的度量，可以看作是欧氏距离的一种修正，修正了欧式距离中各个维度尺度不一致且相关的问题。它是一种有效的计算两个未知样本集的相似度的方法。与欧氏距离不同的是它考虑到各种特性之间的联系（例如：一条关于身高的信息会带来一条关于体重的信息，因为两者是有关联的）并且是尺度无关的（scale-
invariant），即独立于测量尺度。

（3）余弦距离

余弦距离（也称为余弦相似度）： 用向量空间中两个向量夹角的余弦值 作为衡量两个个体
间差异的大小的度量。

向量：多维空间中有方向的线段，如果两个向量的方向一致，即夹角接近零，那么这两个向量就相近 。而要确定两个向量方向是否一致，这就要用到余弦定理计算向量的夹角。

当两个向量是正交（垂直）时，无论其物理距离有多近，其余弦距离始终为最大值cos90°=0.

3.2 平均绝对误差（MAE）

平均绝对误差MAE（Mean Absolute Error）又被称为l1范数损失（l1-norm loss）：

3.3 平均平方误差（MSE）

平均平方误差MSE（Mean Squared Error）又被称为l2范数损失（l2-norm loss）：

3.4 均方根误差（RMSE）

RMSE虽然广为使用，但是其存在一些缺点，因为它是使用平均误差，而平均值对异常点（outliers）较敏感，如果回归器对某个点的回归值很不理性，那么它的误差则较大，从而会对RMSE的值有较大影响，即平均值是非鲁棒的。

3.5 解释变异

解释变异（ Explained variance）是根据误差的方差计算得到的：

3.6 决定系数

决定系数（Coefficient of determination）又被称为R2。

第4章常见的聚类模型评估指标

4.1 兰德指数

兰德指数（Rand
index）需要给定实际类别信息C，假设K是聚类结果，a表示在C与K中都是同类别的元素对数，b表示在C与K中都是不同类别的元素对数，则兰德指数为：

其中数据集中可以组成的总元素对数，RI取值范围为[0,1]，值越大意味着聚类结果与真实情况越吻合。

对于随机结果，RI并不能保证分数接近零。为了实现“在聚类结果随机产生的情况下，指标应该接近零”，调整兰德系数（Adjusted rand
index）被提出，它具有更高的区分度：

具体计算方式参见[Adjusted Randindex]。

ARI取值范围为[−1,1]，值越大意味着聚类结果与真实情况越吻合。从广义的角度来讲，ARI衡量的是两个数据分布的吻合程度。

4.2 互信息

互信息（Mutual
Information）也是用来衡量两个数据分布的吻合程度。假设UU与VV是对NN个样本标签的分配情况，则两种分布的熵（熵表示的是不确定程度）分别为：

利用基于互信息的方法来衡量聚类效果需要实际类别信息，MI与NMI取值范围为[0,1]，AMI取值范围为[−1,1]，它们都是值越大意味着聚类结果与真实情况越吻合。

4.3 轮廓系数

轮廓系数（Silhouette
coefficient）适用于实际类别信息未知的情况。对于单个样本，设aa是与它同类别中其他样本的平均距离，bb是与它距离最近不同类别中样本的平均距离，轮廓系数为：

对于一个样本集合，它的轮廓系数是所有样本轮廓系数的平均值。

轮廓系数取值范围是[−1,1]

---

可能大家都想学习AI大模型技术，也想通过这项技能真正达到升职加薪，就业或是副业的目的，但是不知道该如何开始学习，因为网上的资料太多太杂乱了，如果不能系统的学习就相当于是白学。为了让大家少走弯路，少碰壁，这里我直接把全套AI技术和大模型入门资料、操作变现玩法都打包整理好，希望能够真正帮助到大家。

如何系统的去学习大模型LLM ？

作为一名热心肠的互联网老兵，我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。

但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的 AI大模型资料 包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

😝有需要的小伙伴，可以V扫描下方二维码免费领取🆓

一、全套AGI大模型学习路线

AI大模型时代的学习之旅：从基础到前沿，掌握人工智能的核心技能！

二、640套AI大模型报告合集

这套包含640份报告的合集，涵盖了AI大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师，还是对AI大模型感兴趣的爱好者，这套报告合集都将为您提供宝贵的信息和启示。

三、AI大模型经典PDF籍

随着人工智能技术的飞速发展，AI大模型已经成为了当今科技领域的一大热点。这些大型预训练模型，如GPT-3、BERT、XLNet等，以其强大的语言理解和生成能力，正在改变我们对人工智能的认识。 那以下这些PDF籍就是非常不错的学习资源。

四、AI大模型商业化落地方案

阶段1：AI大模型时代的基础理解

• 目标：了解AI大模型的基本概念、发展历程和核心原理。
• 内容：
  • L1.1 人工智能简述与大模型起源
  • L1.2 大模型与通用人工智能
  • L1.3 GPT模型的发展历程
  • L1.4 模型工程
    - L1.4.1 知识大模型
    - L1.4.2 生产大模型
    - L1.4.3 模型工程方法论
    - L1.4.4 模型工程实践
  • L1.5 GPT应用案例

阶段2：AI大模型API应用开发工程

• 目标：掌握AI大模型API的使用和开发，以及相关的编程技能。
• 内容：
  • L2.1 API接口
    - L2.1.1 OpenAI API接口
    - L2.1.2 Python接口接入
    - L2.1.3 BOT工具类框架
    - L2.1.4 代码示例
  • L2.2 Prompt框架
    - L2.2.1 什么是Prompt
    - L2.2.2 Prompt框架应用现状
    - L2.2.3 基于GPTAS的Prompt框架
    - L2.2.4 Prompt框架与Thought
    - L2.2.5 Prompt框架与提示词
  • L2.3 流水线工程
    - L2.3.1 流水线工程的概念
    - L2.3.2 流水线工程的优点
    - L2.3.3 流水线工程的应用
  • L2.4 总结与展望

阶段3：AI大模型应用架构实践

• 目标：深入理解AI大模型的应用架构，并能够进行私有化部署。
• 内容：
  • L3.1 Agent模型框架
    - L3.1.1 Agent模型框架的设计理念
    - L3.1.2 Agent模型框架的核心组件
    - L3.1.3 Agent模型框架的实现细节
  • L3.2 MetaGPT
    - L3.2.1 MetaGPT的基本概念
    - L3.2.2 MetaGPT的工作原理
    - L3.2.3 MetaGPT的应用场景
  • L3.3 ChatGLM
    - L3.3.1 ChatGLM的特点
    - L3.3.2 ChatGLM的开发环境
    - L3.3.3 ChatGLM的使用示例
  • L3.4 LLAMA
    - L3.4.1 LLAMA的特点
    - L3.4.2 LLAMA的开发环境
    - L3.4.3 LLAMA的使用示例
  • L3.5 其他大模型介绍

【一一AGI大模型学习 所有资源获取处一一】

①人工智能/大模型学习路线

②AI产品经理入门指南

③大模型方向必读书籍PDF版

④超详细海量大模型实战项目

⑤LLM大模型系统学习教程

⑥640套-AI大模型报告合集

⑦从0-1入门大模型教程视频

⑧AGI大模型技术公开课名额

阶段4：AI大模型私有化部署

• 目标：掌握多种AI大模型的私有化部署，包括多模态和特定领域模型。
• 内容：
  • L4.1 模型私有化部署概述
  • L4.2 模型私有化部署的关键技术
  • L4.3 模型私有化部署的实施步骤
  • L4.4 模型私有化部署的应用场景

学习计划：

• 阶段1：1-2个月，建立AI大模型的基础知识体系。
• 阶段2：2-3个月，专注于API应用开发能力的提升。
• 阶段3：3-4个月，深入实践AI大模型的应用架构和私有化部署。
• 阶段4：4-5个月，专注于高级模型的应用和部署。

这份完整版的大模型 LLM 学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】

😝有需要的小伙伴，可以Vx扫描下方二维码免费领取🆓