[Machine Learning Course of Andrew-Ng 吴恩达的机器学习课程]机器学习学习笔记(8)--对机器学习进行评估

已于 2022-03-12 16:50:14 修改
阅读量221 收藏
点赞数
分类专栏： 机器学习 文章标签： 机器学习 学习 人工智能
于 2022-03-12 14:23:24 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_46207392/article/details/123419942
版权

不必时时怀念我，也不要指望我回来，我离开以后，你们就是我，
Vive le peuple!

做机器学习算法，肯定得遇到些问题
而本文将介绍几个方法来诊断算法出现了什么问题

三个数据集

将数据划分为三个部分
训练集，交叉训练集以及验证集

训练集： 训练模型
交叉训练集： 在训练完成后对模型进行验证
验证集： 用在训练模型后对模型进行更正
比例一般是3:1:1/2:1:1
在这里插入图片描述
误差的计算方法
在这里插入图片描述

诊断偏差和方差

我们在此画出交叉训练集/训练集的误差关于多项式系数的图像
随着多项式系数增加，训练集误差逐渐减小，但交叉训练集先增加后减小
是一个欠拟合到拟合再到过拟合的过程
最左边就是欠拟合的情况，最右边就是过拟合的情况
在这里插入图片描述

偏差,方差与正则化

添加了正则化的代价函数
在这里插入图片描述

正则化λ在不同大小时的情况
在这里插入图片描述
越大，正则化的约束越强，可能出现欠拟合
越小，正则化的约束越弱，可能出现过拟合

训练集误差和交叉训练集误差关于λ的图像
在这里插入图片描述

学习曲线

高偏差问题下，误差与训练集数量的曲线

可以看到增加训练集数量是对训练帮助不大

在这里插入图片描述

高方差问题下，误差与训练集数量的曲线

可以看到增加训练集数量是对训练有显著帮助的
在这里插入图片描述

关于神经网络
如果神经网络的训练集越多，性能越好，但也容易出现过拟合的现象，
一般的解决方案是进行正则化，而不是选择一个更小的神经网络

不对称性分类的误差评估

如果一个模型有两个结果，而两个结果的数量级非常的大
这导致当模型准确率上升时，不太好分辨到底是过拟合还是准确率提高
这时就需要另外一个指标去进行评估

假设某个模型的结果分为阳性和阴性
我们将结果分为四部分
真阳性，真阴性，假阳性，假阴性
在这里插入图片描述
这样我们可以得到几个指标
查准率：真阳性/（真阳性+假阳性）
召回率：真阳性/（真阳性+假阴性）
两个率越高越好，但是实际上两者之间很有可能要进行取舍

当然，也可以用公式来进行评价
P为查准率，R为召回率
在这里插入图片描述

Dhaa_Ryan
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
机器学习笔记 - 机器学习基础面试题一
学以致用 知行合一
03-25 2550
1、解释有监督和无监督机器学习的区别？ 在有监督的机器学习算法中，我们必须提供标记数据，例如，股票市场价格的预测，而在无监督的机器学习算法中，我们不需要标记数据，例如，将电子邮件分类为垃圾邮件和非垃圾邮件。 2、解释 KNN 和 k.means 聚类的区别？ K-Nearest Neighbors是一种有监督的机器学习算法，我们需要将标记数据提供给模型，然后模型根据点与最近点的距离对点进行分类。 而另一方面，K-Means聚类是一种无监督的机器学习算法，...
敏感性、特异性、假阳性、假阴性（sensitivity and specificity）
weixin_33738982的博客
02-09 1万+
医学、机器学习等等，在统计结果时时长会用到这两个指标来说明数据的特性。 定义 敏感性：在金标准判断有病（阳性）人群中，检测出阳性的几率。真阳性。（检测出确实有病的能力） 特异性：在金标准判断无病（阴性）人群中，检测出阴性的几率。真阴性。（检测出确实没病的能力） 假阳性率：得到了阳性结果，但这个阳性结果是假的。即在金标准判断无病（阴性）人群中，检测出为阳性的几率。（没病，但却检测结果说有...
[Machine Learning Course of Andrew-Ng 吴恩达的机器学习课程]机器学习学习笔记(1)--笔记总览
qq_46207392的博客
03-13 1366
吴恩达大佬的机器学习课程笔记
[Machine Learning Course of Andrew-Ng 吴恩达的机器学习课程]机器学习学习笔记(10)--无监督学习
qq_46207392的博客
03-12 337
不必时时怀念我，也不要指望我回来，我离开以后，你们就是我， Vive le peuple! 无监督学习的概念 无监督学习从无标记的训练数据中推断结论。最典型的无监督学习就是聚类分析，它可以在探索性数据分析阶段用于发现隐藏的模式或者对数据进行分组。一句话：给定数据，寻找隐藏的结构。 例：给你一组无标记点，使用无监督算法进行分类 K-means算法 算法过程 在图中随机取多个点，这几个点就是聚类中心（有多少个点取决于你想分多少组数据） 现在进行分类，如果某点离某个聚类中心最近，那么这个点就属于那个聚类中.
机器学习基础（一）混淆矩阵，真阳性(TP)，真阴性(TN)，假阳性(FP)，假阴性(FN)以及敏感性(Sensitivity)和特异性(Specificity)
记录深度学习日常
01-30 9620
介绍机器学习的基础，混淆矩阵，真阳性，真阴性，假阳性，假阴性，敏感性和特异性。
Andrew-Ng-ML 吴恩达机器学习 编程作业（答案）
11-26
Andrew-Ng-ML 吴恩达机器学习 编程作业；If you are using Octave (>=3.8.0), or have an existing installation of MATLAB (), download this week’s programming assignment here. This ZIP-file contains the ...
2022-吴恩达机器学习课程(原始讲义)高清完整版PPTpdf
05-08
2022_吴恩达机器学习课程(原始讲义)高清完整版PPTpdf 包含对应课程所有PPT 仅供大家学习使用，请勿用作商业目的
Andrew-Ng-ML 吴恩达机器学习 编程作业（未包含答案）
11-26
Andrew-Ng-ML 吴恩达机器学习 编程作业；If you are using Octave (>=3.8.0), or have an existing installation of MATLAB (), download this week’s programming assignment here. This ZIP-file contains the ...
2022-Machine-Learning-Specialization-main.zip 吴恩达机器学习ppt
最新发布
01-28
吴恩达的机器学习课程主要包括两门，一门是在Cousera上的《机器学习》，另一门是他在斯坦福大学教授的《CS229: Machine Learning》。...如需更多吴恩达机器学习课程相关内容，可以登录Coursera官网和B站查看课程介绍。
matlab吴恩达代码-Machine-Learning-AndrewNg:吴恩达机器学习课程编程作业，python和matlab代码，及笔记
05-26
matlab吴恩达代码 Machine-Learning-AndrewNg代码笔记 吴恩达机器学习课程编程作业，python和matlab代码，及笔记 笔记为黄海广博士笔记，原链接为： 欢迎交流。
TP真阳性, FP假阳性, FN假阴性, TN真阴性
qq_41734385的博客
07-13 2143
TP(True Positive) 真阳性：预测为正(1)，实际为正(1)FP(False Positive) 假阳性：预测为正(1)，实际为负(0)FN(False Negative) 假阴性：预测为负(0)，实际为正(1)TN(True Negative) 真阴性：预测为负(0)，实际为负(0) 简单来说就是：1. 预测/标签和实际输出结果一致则为 真(True)，预测/标签和实际输出结果不一致则为 假(False)； 2. 预测/标签为“正”，就是“阳”(Posi
机器学习（9）误差分析、查准率和召回率
Wilsonlhl的博客
10-10 512
误差分析、查准率和召回率误差分析不对称性分类的误差分析查准率和召回率查准率和召回率的权衡侧重查准率：侧重召回率：查准率和召回率的调和平均数 误差分析 在构建模型时，Andrew Ng教授建议以下步骤： 首先快速构建一个粗糙的模型，不要求精度，并通过交叉检验来测试模型。然后通过学习曲线的方法来查看更多特征、更多数据集是否起作用，即确定构建的模型是否存在高偏差或者高方差的情况。还可以通过误差分析的方式，比如我们在构建完一个垃圾邮件分类模型后，用交叉检验来测试模型，我们重点分析分类错误的邮件特征，并以此来调整模型
数据增强增加训练数据量！
qq_35914818的博客
08-03 3942
在线数据增强是指在训练过程中对图像进行各种变换增加图像样本的多样性，你可以通过增加迭代次数来保证训练的图像数量增加，因为你每次迭代喂进网络的图像都是你增强后的图像，如果增强方法足够丰富，那么每次丢给网络的图像都是不一样的，即间接增加了训练的数据量。 实际上可以认为训练数据量是变多的，训练的每个epoch都会遍历完所有的训练集图片，训练一般也是多个epoch。 因此，实际上是在每个epoch循环里面都执行了一次数据增强，使得训练数据变换，因此你每次epoch迭代后喂进网络的图像都是你增强后的图像，也都是不同的
[Machine Learning Course of Andrew-Ng 吴恩达的机器学习课程]机器学习学习笔记(2)--最简单的线性回归
qq_46207392的博客
03-12 241
不必时时怀念我，也不要指望我回来，我离开以后，你们就是我， Vive le peuple! 线性回归是最简单的机器学习模型，是个人都可以学会 一.引例 使用一组俄勒冈州波特兰市的城市住房价格的数据,通过机器学习的方法来预测住房价格 我们的目标是将一个数据集，通过训练算法训练一个函数h(或者说假设)，通过输入价格x，能输出对应的预测价格e 注：此例子的预测函数是线性函数 二.代价函数 它有什么用： 代价函数用于计算预测值和实际值之间的误差，它用于和后面的梯度下降函数共同配合找到最优解 这是我们.
机器学习之异常检测
周自信的技术博客
12-29 6390
高斯分布是自然界最常见的分布形态，用它来做异常检测是非常合适的模型。枪打出头鸟，那些分布在两端的小概率事件，要么好的出奇（右边），要么差得离谱（左边）。据说认真看完这篇文章并点赞的人基本上是分布在右侧。 异常检测模型和实例 给定一组数据 $x^{(1)}, x^{(2)}, ... , x^{(m)}$，我们建立一个模型 $p(x)$，当有一个新的实例 $x_{test}$ 时，如果 $p(x_
机器学习09-异常检测
weixin_43989156的博客
05-04 312
文章目录异常检测算法步骤例子开发和评估异常检测系统异常检测 VS 监督学习异常检测监督学习选择要使用的功能使数据接近高斯分布如何得到异常检测算法的特征多变量高斯分布μ,∑\mu,\sumμ,∑ 对 p(x)p(x)p(x) 的影响使用多变量高斯分布的异常检测步骤多变量高斯分布异常检测算法与原始算法的区别造成 ∑\sum∑不可逆的原因 异常检测算法 步骤 选取能够描述所收集数据一般特性的特征 xi...
理解 假阳性（false positive）和假阴性(false negative）概念
热门推荐
weixin_43614795的博客
11-22 3万+
2018-11-22：理解假阳性（false positive）和假阴性(false negative）这两个概念假阴性false negative和假阳性false positive概念理解举个例子解法（1）：列数字讲道理法解法（2）：画树状图法，简称画图法哈哈哈解法（3）：贝叶斯公式（Bayes大法好） 假阴性false negative和假阳性false positive 概念理解 当你真的...
吴恩达机器学习笔记 pdf
01-08
《吴恩达机器学习笔记》是吴恩达在斯坦福大学开设的机器学习课程的讲义和笔记，对于学习和理解机器学习算法非常有帮助。这本pdf提供了从基础的监督学习、无监督学习到深度学习等内容的详细讲解，涵盖了从原理到实践...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值