[Machine Learning Course of Andrew-Ng 吴恩达的机器学习课程]机器学习学习笔记(9)--支持向量机

已于 2022-03-12 16:50:06 修改
阅读量180 收藏
点赞数
分类专栏： 机器学习 文章标签： 机器学习 学习 支持向量机
于 2022-03-12 14:23:42 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_46207392/article/details/123426601
版权
这篇博客介绍了SVM（支持向量机）的基础知识，包括其大间隔分类器机制和损失函数。博主指出吴恩达的讲解相对简单，建议深入研究其他教程以获取更全面的理解。SVM通过最大化类别间隔来优化分类边界，避免过拟合。此外，文章还探讨了核函数的概念，尤其是高斯核函数在非线性分类中的作用，强调了调用预封装库的实用性。
摘要由CSDN通过智能技术生成

不必时时怀念我，也不要指望我回来，我离开以后，你们就是我，
Vive le peuple!

个人感觉吴恩达讲的SVM好像过于简单了，我看网上的那些都搞得挺复杂的，推荐自己有时间去看看其他的教程

SVM的定义

这是教程给的SVM的损失函数定义，和之前的都差不多，区别就是里面的函数被替换了
在这里插入图片描述
并且SVM只会输出结果，并不会输出结果的概率
在这里插入图片描述

大间隔分类器

机制

对于一般的分类器，对下图的内容进行分类，很有可能会选择绿线和粉线
而SVM会选择黑线，黑线离两个群体的距离大致相等，这是SVM的大间隔分类器机制
在这里插入图片描述
在这里插入图片描述

数学原理

吴只讲了低维的，高度应该类似，但是他没讲
首先来搞几个概念：
范数
划红线的就是求一个向量范数的方法，类似于求长度
在这里插入图片描述

向量之间的投影
在这里插入图片描述
v在u上的投影：
在这里插入图片描述

优化函数

如果你还有印象的话，这玩意就是SVM的优化函数
在这里插入图片描述
对于两个特征来说
红色的那玩意就是范数
在这里插入图片描述
由上面的数学原理我们可以知道theta^t * x(i)的具体意义
在这里插入图片描述
就相当于x(i)在theta上面的投影
同时theta^t * x(i)就可以换一种方法来表述
即 p(i) * || theta ||
在这里插入图片描述

关于p(i) * || theta ||的意义

绿色的线即为SVM所作出的分界线
在这里插入图片描述
由上图得到如果结果为正，则前面的部分大于一，反之则小于一
在这里插入图片描述

但因为要求p(i)*||theta||大于等于1，如果p(i)过小的话,||theta||会过大
而我们的优化函数的目的是需要让下图部分变得够小
在这里插入图片描述

所以SVM会选择下图的分界线
在这里插入图片描述
这样就实现了大间隔分类

核函数

像这种图像，用线性回归分析的话不合适
而核函数就是用来解决这一问题的
在这里插入图片描述

理解这玩意

我们在平面上定三个点
同时推出一个新概念：相似度（公式见下图）
在这里插入图片描述

如果一个点很接近标记点，那么它的结果为1，反之为0
在这里插入图片描述

不同情况下的相似度图像
在这里插入图片描述

简单例子：
由这个公式可得，对于这个粉色的点，它的y值为1
在这里插入图片描述
对于蓝色的点，它的y值小于1，也就是不接近

在这里插入图片描述
在这里插入图片描述

当一个点接近两个标记点时，它的值就会为1，它的图像也会变成下面这个样子

在这里插入图片描述
是不是很熟悉？我们就可以靠这个玩意来分类了
我们将代价函数改成这个样子（将f改造成为一个向量）
在这里插入图片描述

要注意的细节

图中的C和之前的λ很类似，大C高偏差，小C高方差
在这里插入图片描述
对于相似度函数（高斯核函数）来说
这个啥（我不知道叫啥）越大，曲线越平滑，欠拟合
反之则过拟合
在这里插入图片描述

吴表示这些玩意最好调别人的库，因为自己写这吊玩意确实很麻烦
他只详细讲了高斯核函数这一个玩意，还有其他种类的核函数，
我的看法是：调包，调包QWQ

Dhaa_Ryan
关注
专栏目录
[Machine Learning Course of Andrew-Ng 吴恩达的机器学习课程]机器学习学习笔记(13)--推荐算法
qq_46207392的博客
03-13 777
不必时时怀念我，也不要指望我回来，我离开以后，你们就是我， Vive le peuple! 推荐算法大家都应该知道是什么玩意 引例 通过用户已评测电影的数据来预测其他用户对电影的评测分数 基于内容的推荐算法 计算方法 对于内容进行分析，我们知道AB喜欢爱情片，CD则喜欢动作片 现在我们获得了每个电影的成分比例（爱情内容/动作内容的比例） 我们可以将特征转化为一个特征向量 同时，我们还需要预测用户的喜好向量 就是用户对某个电影的喜欢程度(对目前来说我们可以得到此向量) 如果我们要求A对第三个电影的.
[Machine Learning Course of Andrew-Ng 吴恩达的机器学习课程]机器学习学习笔记(6)--神经网络初步理解
qq_46207392的博客
03-12 432
不必时时怀念我，也不要指望我回来，我离开以后，你们就是我， Vive le peuple! 为什么会有神经网络 如果一个模型的特征过多，最后的结果很有可能出现过拟合, 同时，如果需要的分界线过于复杂的话（如上图），也不能拟合出来 神经网络 这个算法就是模仿人类大脑的神经元得来的 最简单的神经网络 x0为偏置单元，值恒为1 xi为输入端，h为激活函数 下面为比较简单的例子 复杂一点的例子 Layer1为输入层，Layer2为隐藏层，Layer3为输出层 一个复杂的计算例 神经网络的计算过程 .
[Machine Learning Course of Andrew-Ng 吴恩达的机器学习课程]机器学习学习笔记(14)--梯度下降拓展
qq_46207392的博客
03-13 997
不必时时怀念我，也不要指望我回来，我离开以后，你们就是我， Vive le peuple! 这个部分不难，就是拓展了几个梯度下降的方法而已 随机梯度下降 这是普通的线性回归的梯度下降（也叫批量梯度下降） 但是有一个问题，当它的m（训练集）数据量很大时，需要消耗很大的计算资源 所以随机梯度下降出来了 在求出损失函数后，我们将数据集随机打乱，之后每次梯度下降时只会取一个随机抽取的数据进行梯度下降 红色为批量梯度下降的学习曲线，粉色的为随机梯度下降的学习曲线 可以看出粉色的曲线非常的。。。但它大体是向最小.
[Machine Learning Course of Andrew-Ng 吴恩达的机器学习课程]机器学习学习笔记(11)--PCA与数据压缩
qq_46207392的博客
03-12 847
不必时时怀念我，也不要指望我回来，我离开以后，你们就是我， Vive le peuple! 基本思想 如果数据很多，并且里面有很多数据冗余，我们就需要一个可靠的办法来将数据进行压缩 对于三维来说，压缩的方法就是将所有的点投影在一个线性平面上 PCA(主成分分析算法) 原理理解 对于二维来说，PCA就是将二维的点投影到直线上，寻找使得点到直线垂直距离的平方最小的直线 对于三维，就是寻找两个向量，让所有点到这两个向量构成的平面的垂直距离最短 与线性回归的区别 线性回归是求预测点和实际点的误差，而.
[Machine Learning Course of Andrew-Ng 吴恩达的机器学习课程]机器学习学习笔记(3)--多元梯度下降
qq_46207392的博客
03-12 200
不必时时怀念我，也不要指望我回来，我离开以后，你们就是我， Vive le peuple! 前言 之前的梯度下降仅对少数theta进行了处理，这个文章将介绍一个通用方法对多个theta进行梯度下降处理 如果一个模型有114514+的属性，那么用代码实现的话很麻烦。 如果要一个一个加的话，感觉效率不是很高 该怎么做 转化为向量计算 对于上图第二行数据，我们可以将它转化为一个列向量 （我还没复习线性代数嗷，有问题帮忙指一下） 通过这个思路，我们可以将theta和x{i}(也就是第i个数据)转化为向量.
【学习笔记】吴恩达机器学习 | 汇总 | 已完结！！！
热门推荐
BenjaminChen的博客
07-16 10万+
【学习笔记】吴恩达机器学习 | 汇总 | 已完结！！！
Github标星24300！吴恩达机器学习课程笔记.pdf
fengdu78的博客
03-11 1587
个人认为：吴恩达老师的机器学习课程，是初学者入门机器学习的最好的课程！我们整理了笔记（336页），复现的Python代码等资源，文末提供下载。课程简介 课程地址：https://www.c...
Github标星24300！吴恩达机器学习课程笔记.docx
fengdu78的博客
08-27 297
个人认为：吴恩达老师的机器学习课程，是初学者入门机器学习的最好的课程！我们整理了笔记（336页），复现的Python代码等资源，包括原版的docx文件，文末提供下载。课程简介 课程地址：https://www.coursera.org/course/mlMachine Learning(机器学习)是研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身...
《吴恩达机器学习》学习笔记（第十一周）
最新发布
qq_51339898的博客
09-08 908
本周报的目的在于汇报《吴恩达机器学习》课程第十一周的学习成果，主要聚焦于深度神经网络（CNN）的目标检测。在这一周的学习中，内容主要涵盖了神经网络模型的目标检测，同时对比了Faster R-CNN与YOLO的效果差异。本篇文章将对目标检测进行详细的阐述，并在最后部分对本周的学习内容进行总结。本周报旨在通过这种方式，将理论知识与实践应用有效地结合起来，为深度学习的基础内容学习与方向提供概括性总结。​目标检测① 上周周报中，我们介绍的是利用CNN模型进行图像分类。
Andrew-Ng-ML 吴恩达机器学习 编程作业（答案）
11-26
Andrew-Ng-ML 吴恩达机器学习 编程作业；If you are using Octave (>=3.8.0), or have an existing installation of MATLAB (), download this week’s programming assignment here. This ZIP-file contains the ...
matlab吴恩达代码-Machine-Learning-AndrewNg:吴恩达机器学习课程编程作业，python和matlab代码，及笔记
05-26
本资料包“matlab吴恩达代码-Machine-Learning-AndrewNg”包含了他在斯坦福大学开设的机器学习课程中的编程作业，以及对应的Python和MATLAB代码实现，同时还附带了黄海广博士的详细笔记，为学习者提供了宝贵的参考...
吴恩达机器学习作业-Notes-ML-AndrewNg-master.zip
01-03
《吴恩达机器学习作业-Notes-ML-AndrewNg-master》是针对吴恩达教授的机器学习课程的一份详尽的学习资源，包含了他在课程中所讲授的重要概念、理论和实践练习。吴恩达教授是斯坦福大学的计算机科学家，也是在线教育...
2022-吴恩达机器学习课程(原始讲义)高清完整版PPTpdf
05-08
2022_吴恩达机器学习课程(原始讲义)高清完整版PPTpdf 包含对应课程所有PPT 仅供大家学习使用，请勿用作商业目的
Andrew-Ng-ML 吴恩达机器学习 编程作业（未包含答案）
11-26
Andrew-Ng-ML 吴恩达机器学习 编程作业；If you are using Octave (>=3.8.0), or have an existing installation of MATLAB (), download this week’s programming assignment here. This ZIP-file contains the ...
基于 AC 驱动的电容结构 GaN LED 模型开发和应用
simucal的博客
09-06 541
为了深入理解该器件的工作原理，我司技术团队开发了基于 AC 驱动的物理解析模型，揭示了隧穿结降低器件工作电压的内在机理，丰富了研究人员对 AC 驱动 GaN LED 技术的理解，有助于进一步促进纳米尺寸显示技术的发展。图2（c）表明能带在-40 V 反向偏压下发生大幅弯曲，具有 TJ 结的 LED 可以提供更多的感应电子【见图2（d）】，在耗尽区电场的加速下碰撞离化，从而导致更低的反向导通电压。图2（e）进一步证明具有 TJ结的LED 结构的碰撞离化分布更宽，LED 的工作电压能够被有效降低。
[机器学习]线性回归算法
Letmooning的博客
09-06 477
利用回归方程（函数）对一个或多个自变量（特征值）和因变量（目标值）之间关系进行建模的一种分析方式。
【机器学习-监督学习】决策树
Morse_Chen的博客
09-07 1491
本文介绍了决策树模型的基本概念和最基础的决策树生成算法ID3算法，以及分类和回归树CART算法。然后动手实现了ID3算法的改进版本C4.5算法的决策树，并学会使用Sklearn中的决策树工具。
机器学习之实战篇——MNIST手写数字0~9识别（全连接神经网络模型）
2301_79376014的博客
09-06 1243
MNIST数据集是机器学习和计算机视觉领域中最知名和广泛使用的数据集之一。它是一个大型手写数字数据库，包含 70,000 张手写数字图像，60,000 张训练图像，10,000 张测试图像。每张图像是 28x28 像素的灰度图像素值范围从 0（白色）到 255（黑色），每张图像对应一个 0 到 9 的数字标签。在实验开始前，为了熟悉这个伟大的数据集，读者可以先做一下下面的小实验,测验你的手写数字识别能力。# 加载MNIST数据集# 随机选择100个样本# 显示图像plt.show()
吴恩达机器学习笔记：斯坦福大学2014年机器学习课程学习笔记
吴恩达机器学习个人笔记完整版是根据斯坦福大学2014年机器学习课程视频所做的笔记，主要记录吴恩达老师上课时的重点。该笔记对机器学习的基本概念、模型、算法和应用进行了详细的介绍和解释。 从目录中可以看到，该...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值