[Machine Learning Course of Andrew-Ng 吴恩达的机器学习课程]机器学习学习笔记(12)--异常检测

最新推荐文章于 2024-05-31 13:51:06 发布
最新推荐文章于 2024-05-31 13:51:06 发布
阅读量158 收藏
点赞数
分类专栏： 机器学习 文章标签： 机器学习 学习 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_46207392/article/details/123454491
版权

不必时时怀念我，也不要指望我回来，我离开以后，你们就是我，
Vive le peuple!

例子

以视频的例子为例
一个航天发动机有两个属性
在这里插入图片描述
好的发动机的分布如下图
在这里插入图片描述
而我们的任务是，给一个发动机，它的好坏未知，给你它的数据，判断它是否正常

如果发动机正常的概率小于某个阈值，则认为这个发动机异常
在这里插入图片描述
在这里插入图片描述

异常检测

高斯(正态)分布

图像和公式
在这里插入图片描述
在这里插入图片描述

不同参数下的高斯函数图像
在这里插入图片描述

算法实现

首先求出两个参数
在这里插入图片描述
之后将x(i)带入参数进行累乘
在这里插入图片描述
如果概率小于阈值，则为异常

实现时要注意的地方

在这里插入图片描述
判断算法执行的效能和之前不对称性分类很像
数据也和之前线性回归一样分成三部分

异常检测和监督学习

异常检测适合于那些普通算法很难学习的例子（有可能每个反例的情况不一样），推荐正例远远大于反例时使用
而监督学习的反例的特征都是相近的，推荐正反例数量级差距不大时使用
在这里插入图片描述

转化

如果一个数据的图像不符合高斯分布，我们可以通过转化将其转化为高斯分布
如下图就可以取log将其转化为高斯分布图像
在这里插入图片描述
如果现有的图像看不出异常点和正常点的区别，可以尝试增加特征进行区别
在这里插入图片描述

多变量的高斯分布

引例

这是有两个特征的高斯分布的图像
在这里插入图片描述
但是仅靠这三个图像很可能出现对异常点的误判

粉色圈为误判，蓝圈是正确的判断
在这里插入图片描述
为了解决这个问题，我们得建立一个统一的模型

公式

这是多元高斯分布的公式
在这里插入图片描述

这个玩意是sigma的行列式
在这里插入图片描述
其中
在这里插入图片描述

不同参数下的二元高斯函数的图像
其中，μ决定高斯函数的最高点在xy的坐标，Σ的对角线的元素决定图像的高度，如果对角线元素不相同则会使图像变形在这里插入图片描述在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

什么时候需要使用多变量高斯分布

如果特征间的关系小时使用原始的高斯分布即可(适合于大量数据，训练集大小要求可以很小)
若特征间的关系比较大的时候应该使用多变量的高斯分布(适合于少量数据，训练集的数量必须远远大于特征数量，防止矩阵不可逆)

Dhaa_Ryan
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Andrew Ng-ML-第十六章-异常检测
weixin_34185512的博客
08-11 93
1.问题动机 图1.飞机发动机检测例子 对飞机引擎的例子，如果选取了两个特征x1热量产生度，x2震动强度。并得到如下的图，如果有一个新的引擎来检测其是否正常，x_test，那么此时如果点落在和其他点正常内，那么就显示是正常，不需要进一步的检测，但是如果在右下角绿色的，那么就是异常的，需要进一步地检测。 图1.密度检测 更一般地建立模型，当x_test输入时，若概率<阈...
[Machine Learning Course of Andrew-Ng 吴恩达的机器学习课程]机器学习学习笔记(1)--笔记总览
qq_46207392的博客
03-13 1362
吴恩达大佬的机器学习课程笔记
[Machine Learning Course of Andrew-Ng 吴恩达的机器学习课程]机器学习学习笔记(13)--推荐算法
qq_46207392的博客
03-13 712
不必时时怀念我，也不要指望我回来，我离开以后，你们就是我， Vive le peuple! 推荐算法大家都应该知道是什么玩意 引例 通过用户已评测电影的数据来预测其他用户对电影的评测分数 基于内容的推荐算法 计算方法 对于内容进行分析，我们知道AB喜欢爱情片，CD则喜欢动作片 现在我们获得了每个电影的成分比例（爱情内容/动作内容的比例） 我们可以将特征转化为一个特征向量 同时，我们还需要预测用户的喜好向量 就是用户对某个电影的喜欢程度(对目前来说我们可以得到此向量) 如果我们要求A对第三个电影的.
[Machine Learning Course of Andrew-Ng 吴恩达的机器学习课程]机器学习学习笔记(4)--逻辑回归
qq_46207392的博客
03-12 424
不必时时怀念我，也不要指望我回来，我离开以后，你们就是我， Vive le peuple! 与之前的线性回归不同，logistic回归不会返回连续的值，它只会返回表示类型的数值（如0和1），它主要用于分类问题 使用逻辑回归的原因 如图所示，这是一个分类问题，四个点为0，其他为1 如果使用线性回归，最终的误差会非常大， 同时使用线性回归的话，结果可能会远大于0和1 逻辑回归 ...
[Machine Learning Course of Andrew-Ng 吴恩达的机器学习课程]机器学习学习笔记(5)--过拟合问题
qq_46207392的博客
03-12 118
不必时时怀念我，也不要指望我回来，我离开以后，你们就是我， Vive le peuple!
[Machine Learning Course of Andrew-Ng 吴恩达的机器学习课程]机器学习学习笔记(6)--神经网络初步理解
qq_46207392的博客
03-12 357
不必时时怀念我，也不要指望我回来，我离开以后，你们就是我， Vive le peuple! 为什么会有神经网络 如果一个模型的特征过多，最后的结果很有可能出现过拟合, 同时，如果需要的分界线过于复杂的话（如上图），也不能拟合出来 神经网络 这个算法就是模仿人类大脑的神经元得来的 最简单的神经网络 x0为偏置单元，值恒为1 xi为输入端，h为激活函数 下面为比较简单的例子 复杂一点的例子 Layer1为输入层，Layer2为隐藏层，Layer3为输出层 一个复杂的计算例 神经网络的计算过程 .
[Machine Learning Course of Andrew-Ng 吴恩达的机器学习课程]机器学习学习笔记(14)--梯度下降拓展
qq_46207392的博客
03-13 929
不必时时怀念我，也不要指望我回来，我离开以后，你们就是我， Vive le peuple! 这个部分不难，就是拓展了几个梯度下降的方法而已 随机梯度下降 这是普通的线性回归的梯度下降（也叫批量梯度下降） 但是有一个问题，当它的m（训练集）数据量很大时，需要消耗很大的计算资源 所以随机梯度下降出来了 在求出损失函数后，我们将数据集随机打乱，之后每次梯度下降时只会取一个随机抽取的数据进行梯度下降 红色为批量梯度下降的学习曲线，粉色的为随机梯度下降的学习曲线 可以看出粉色的曲线非常的。。。但它大体是向最小.
[Machine Learning Course of Andrew-Ng 吴恩达的机器学习课程]机器学习学习笔记(11)--PCA与数据压缩
qq_46207392的博客
03-12 762
不必时时怀念我，也不要指望我回来，我离开以后，你们就是我， Vive le peuple! 基本思想 如果数据很多，并且里面有很多数据冗余，我们就需要一个可靠的办法来将数据进行压缩 对于三维来说，压缩的方法就是将所有的点投影在一个线性平面上 PCA(主成分分析算法) 原理理解 对于二维来说，PCA就是将二维的点投影到直线上，寻找使得点到直线垂直距离的平方最小的直线 对于三维，就是寻找两个向量，让所有点到这两个向量构成的平面的垂直距离最短 与线性回归的区别 线性回归是求预测点和实际点的误差，而.
[Machine Learning Course of Andrew-Ng 吴恩达的机器学习课程]机器学习学习笔记(10)--无监督学习
qq_46207392的博客
03-12 333
不必时时怀念我，也不要指望我回来，我离开以后，你们就是我， Vive le peuple! 无监督学习的概念 无监督学习从无标记的训练数据中推断结论。最典型的无监督学习就是聚类分析，它可以在探索性数据分析阶段用于发现隐藏的模式或者对数据进行分组。一句话：给定数据，寻找隐藏的结构。 例：给你一组无标记点，使用无监督算法进行分类 K-means算法 算法过程 在图中随机取多个点，这几个点就是聚类中心（有多少个点取决于你想分多少组数据） 现在进行分类，如果某点离某个聚类中心最近，那么这个点就属于那个聚类中.
Andrew-Ng-ML 吴恩达机器学习 编程作业（答案）
11-26
Andrew-Ng-ML 吴恩达机器学习 编程作业；If you are using Octave (>=3.8.0), or have an existing installation of MATLAB (), download this week’s programming assignment here. This ZIP-file contains the ...
2022-吴恩达机器学习课程(原始讲义)高清完整版PPTpdf
05-08
2022_吴恩达机器学习课程(原始讲义)高清完整版PPTpdf 包含对应课程所有PPT 仅供大家学习使用，请勿用作商业目的
Andrew-Ng-ML 吴恩达机器学习 编程作业（未包含答案）
11-26
Andrew-Ng-ML 吴恩达机器学习 编程作业；If you are using Octave (>=3.8.0), or have an existing installation of MATLAB (), download this week’s programming assignment here. This ZIP-file contains the ...
2022-Machine-Learning-Specialization-main.zip 吴恩达机器学习ppt
01-28
吴恩达的机器学习课程主要包括两门，一门是在Cousera上的《机器学习》，另一门是他在斯坦福大学教授的《CS229: Machine Learning》。 Cousera上的《机器学习》课程侧重于概念理解，而不是数学推导。这门课程重视...
【机器学习结合AI绘画工具】——开启艺术创作的新纪元
小李很执着的博客
05-26 3199
一些知名的AI绘画工具网站：DeepArt，DeepArt，RunwayML。
机器学习-10-可解释性机器学习库Shapash
qq_20466211的博客
05-29 137
机器学习黑盒模型的可解释性
吴恩达2022机器学习专项课程C2W2：实验多类分类
最新发布
AIGC_xuexishe的博客
05-31 1017
再次强调，背景颜色的强度表示最高值。左图中，橙色点和紫色点（类别 2 和 3）位于右侧阴影深的区域，表示这些区域里的样本x0x1激活值较高，模型预测这些样本属于类别 2 和 3 的概率较高。右图中，紫色点和绿色点（类别 3 和 1）位于下侧阴影深的区域，表示这些区域里的样本x0和x1和激活值较高，模型预测这些样本属于类别3和1的概率较高。总结一下：第一层的两个神经元，通过不同的参数，绘制出不同的决策边界，然后通过ReLU，预测出了不同的分类。输出具体的类别，前10个数据集的真实标签y，以及训练样本的形状。
AI视频下载：ChatGPT数据科学与机器学习课程
AIGCTribe的博客
05-30 501
通过在优化代码示例语料库上训练ChatGPT,程序员可以创建一种语言模型,能够自动建议现有代码的改进措施,从而减少代码复杂性、提高性能并增加可维护性。通过在包含错误及其解决方案的代码示例语料库上训练ChatGPT,程序员可以创建一种语言模型,能够自动建议解决常见编码错误的方案。通过在代码注释和文档语料库上训练ChatGPT,程序员可以创建一种语言模型,能够自动生成代码片段或整个代码库的文档。所以这是一门完整的课程,将教你数据科学和机器学习,以及如何利用ChatGPT的强大功能进行更快速高效的项目开发。
【机器学习】Python中的决策树算法探索
鑫宝的博客
05-27 2352
决策树是一种树形结构，其中每个内部节点表示一个特征上的测试，每个分支代表一个测试结果，而每个叶节点则代表一种类别或输出值。通过一系列的特征判断，决策树从根到某个叶节点的路径就对应了一个实例的分类或回归预测。Scikit-Learn是Python中最广泛使用的机器学习库之一，提供了简单易用的API来实现决策树算法。主要类包括用于分类任务，用于回归任务。决策树算法以其直观、灵活的特点，在众多领域展现出强大的应用潜力。通过Python及其丰富的机器学习库，我们可以轻松实现并优化决策树模型，解决实际问题。
吴恩达机器学习笔记 pdf
01-08
《吴恩达机器学习笔记》是吴恩达在斯坦福大学开设的机器学习课程的讲义和笔记，对于学习和理解机器学习算法非常有帮助。这本pdf提供了从基础的监督学习、无监督学习到深度学习等内容的详细讲解，涵盖了从原理到实践的全面知识，对于想要深入学习机器学习的同学来说，是一份非常宝贵的学习资料。 在这份笔记中，吴恩达详细介绍了机器学习的基本概念、常见算法和技术，并通过大量的案例分析和实例演示，帮助读者更好地理解和掌握这些知识。除此之外，笔记中还包括了许多编程实践和作业，能够帮助读者更好地应用所学的知识，提升实际操作能力。 不仅如此，吴恩达在笔记中还分享了许多关于机器学习领域的最新进展和应用案例，对于学习者来说具有很高的参考价值。同时，这份笔记还提供了丰富的学习资源和参考文献，使读者在学习过程中能够更深入地了解和学习相关知识。 总的来说，吴恩达的机器学习笔记pdf是一份内容丰富、深入浅出的学习资料，适合各个阶段的学习者使用。通过学习这份笔记，可以更深入地理解机器学习的原理和应用，对于从事相关领域工作或研究的人来说具有非常大的帮助。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值