SVM参数θ和决策边界正交的原因

最新推荐文章于 2024-04-03 00:26:52 发布
最新推荐文章于 2024-04-03 00:26:52 发布
阅读量915 收藏 5
点赞数 4
分类专栏： 机器学习/深度学习 文章标签： 支持向量机 机器学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Wind_2028/article/details/117380695
版权

吴恩达《机器学习》课程，讲到SVM背后数学原理的时候，提到“参数θ和决策边界正交”，但没有给出解释。我比划了下，可以从向量点积为0的角度来理解：

​

先画图：

​

 

决策边界是：\Theta \cdot X^{(i)} = 0 

 

推导：

 \Theta \cdot X^{(i)} = 0 

=>   \parallel \Theta \parallel \cdot \parallel X^{(i)}\parallel \cdot \cos \alpha =0

=>  \cos \alpha =0

=> α = π/2

 

故，垂直。

 

 

 

 

​

Dreamcatcher风
关注
  • 4
    点赞
  • 踩
  • 5
    收藏
    觉得还不错? 一键收藏
  • 7
    评论
专栏目录
『ML笔记』讲解SVM关于参数theta为什么和边界boundary正相交
AI新视界
11-12 3054
吴恩达老师上课的图片。这里绿线表示决策边界boundary，蓝色箭头theta'为什么跟绿线boundary一定是正相交呢？ 我们从几何图形上来解释一下。从图中我们知道 theta'*X > 0的时候，y = 1 是上图红色的叉叉 theta'*X < 0的时候，y = 0 是上图蓝色的圈圈 那么theta'*X在什么时候是正的，什么时候是负的呢？theta'*X在几何意义...
支持向量机SVM,决策边界与参数θ的关系探究
weixin_45643534的博客
07-08 726
支持向量机SVM,决策边界与参数θ的关系探究欢迎使用Markdown编辑器新的改变功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入 欢迎使用Markdown编辑器 你好！ 这是你第一次使用 Markdown编辑器 所展示的欢迎页。如
关于参数theta为什么和边界boundary正相交
langcaiye的专栏
05-15 3652
先上个Ng老师的图。这里绿线表示boundary，蓝色箭头theta为什么跟绿线是正相交呢？我们从几何图形上来解释一下。从图中我们知道theta'*X > 0的时候，y = 1 是上图红色的叉叉theta'*X < 0的时候，y = 0 是上图蓝色的圈圈那么theta'*X在什么时候是正的，什么时候是负的呢？theta'*X在几何意义上可以理解为向量X在向量theta'上的投影p*||...
关于吴恩达老师机器学习SVM中12-3节的决策边界与参数theta垂直的解释
weixin_41851865的博客
05-24 414
关于吴恩达老师机器学习SVM中12-3节的决策边界与参数theta垂直的解释
机器学习实战(用Scikit-learn和TensorFlow进行机器学习)(七)
fjl_CSDN的博客
01-11 4181
上一节讲了SVM，这一节将另外一个强大的算法：决策树，它能够处理回归和分类问题，甚至是多输出问题，能够拟合复杂的数据（容易过拟合），而且它是集成算法：随机森林（Random forest）的基础，下面开始介绍决策树Scikit-learn的用法，以及参数的选择及算法的局限性。 七、决策树(Decision Trees) 1、训练决策树并其可视化  下面是决策树分类（Decisio
[证明]在二类线性分类中,权重向量w与决策平面正交。
Sshpark的博客
06-11 2691
需要明白的概念 决策平面： 特征空间 RdR^dRd 中所有满足 f(x,w)=0f(x, w) = 0f(x,w)=0 的点组成一个分割超平面(hyperplane)，称为决策边界(decision boundary)或决策平面(decision surface)。 二类线性分类： 决策边界将特征空间一分为二，划分成两个区域，每个区域对应一个类别。 证明 由上面的定义可知，二类线性分类的判别函数...
吴恩达机器学习笔记（10）——支持向量机SVM
阿尔基亚的玫瑰蜜
03-02 506
一、优化目标 支持向量机（Support Vector Machine ，SVM）是另一种监督式学习算法。它有时候更加的简洁和强大。 我们将逻辑回归中的代价函数转化一下，并使用两段直线来尝试替代曲线，这被称作hinge loss 函数。 我们把第一项定义为​cost1(z)​，第二项定义为​cost0(z)​，那么可以说​cost1(z)是当y=1时进行分类的代价函数，​cost0(z)是当y=...
【机器学习】SVM和核函数
未来已来
11-06 553
上了吴恩达教授在Coursera上的课程之后，在网上找到了他在斯坦福课程的资料CS229 。下面会结合这两个课程的资料，整理一篇笔记。 背景 从之前的逻辑回归的模型中，我们可以看到，如果一个样本越远离决策边界(Decision Boundary)，那么我们就越能确保这个样本被正确分类。所以一个比较好的决策边界是尽量能让所有样本到决策边界的距离最大。从下图中可以看到，如果margin越大，我们对样本...
【深度之眼吴恩达机器学习第四期】笔记（八）
qq_40923177的博客
03-21 543
十二章-SVM和作业5-SVM SVM让人头秃……
吴恩达机器学习课程笔记+代码实现(17)12.支持向量机大边界分类背后的数学和核函数
肖泽的博客
03-11 396
12.支持向量机大边界分类背后的数学和核函数 文章目录12.支持向量机大边界分类背后的数学和核函数12.1 大边界分类背后的数学（选修）12.2 核函数112.3 核函数212.4 使用支持向量机 本章编程作业及代码实现部分见： 12.1 大边界分类背后的数学（选修）        在本节课中，我将介绍一些大间隔分类背后的数学原理。这会让你
在时间序列分析中应用小波变换提取特征
最新发布
禅与计算机程序设计艺术
04-03 680
时间序列分析是数据科学和信号处理中的重要研究领域，它涉及对随时间变化的数据进行分析和预测。在实际应用中，时间序列数据往往包含复杂的模式、趋势和噪声，这使得直接从原始数据中提取有用信息变得困难。传统的时间序列分析方法，如傅里叶变换，虽然在频域分析上表现出色，但在处理非平稳信号时存在局限性。小波变换作为一种强大的信号处理工具，近年来在时间序列分析中得到了广泛应用。它能够在时间和频率域同时提供信号的局部特征，特别适合处理非平稳信号和瞬态事件。通过小波变换，我们可以。
机器学习14-支持向量机大边界的数学原理
耿国锋的博客
04-17 1583
在本篇博文中，我将介绍一些大边界分类背后的数学原理。你将对支持向量机中的优化问题，以及如何得到大边界分类器，产生更好的直观理解。     首先，让我来给大家复习一下关于向量内积的知识。假设我有两个向量，u 和 v 我将它们写在这里。两个都是二维向量，我们看一下，uT v 的结果。u T v 也叫做向量 u 和 v 之间的内积。由于是二维向量，我可以将它们画在这个坐标系上。我们说，这就是向
决策边界（decision boundary）的理解
热门推荐
Panpan Wei的博客
03-28 2万+
1.在具有两个类的统计分类问题中，决策边界或决策表面是超曲面，其将基础向量空间划分为两个集合，一个集合。 分类器将决策边界一侧的所有点分类为属于一个类，而将另一侧的所有点分类为属于另一个类。 总体来说的的话，决策边界主要有线性决策边界(linear decision boundaries) 和非线性决策边界(non-linear decision boundaries) 决策边界是问题空间的...
机器学习（5）
张艳秋的博客
09-02 261
决策树，它能够处理回归和分类问题，甚至是多输出问题，能够拟合复杂的数据（容易过拟合），而且它是集成算法：随机森林（Random forest）的基础，下面开始介绍决策树Scikit-learn的用法，以及参数的选择及算法的局限性。 一，训练决策树并其可视化 下面是决策树分类（DecisionTreeClassifier）用在Iris分类上的粒子。参数max_depth控制决策树的深度。 from ...
决策边界（Decision boundary ）
qq_39423706的博客
11-15 5956
决策边界 决策边界的定义 决策边界是由分类模型的参数决定的，对不同类型数据进行划分的分类边界，在二维图上表示如下： 决策边界是由假设函数的参数决定的，例如假设函数 hθ=g(θ0+θ1x1+θ2x2) h_{\theta} = g(\theta_0 + \theta_1x_1 + \theta_2x_2) hθ​=g(θ0​+θ1​x1​+θ2​x2​) 其中g函数是sigmoid函数，因此，...
吴恩达机器学习-SVM-为什么theta与边界boundary垂直
wangyunjeff2的博客
02-18 1241
吴恩达教授的机器学习课程，第十三章支持向量机，大间隔分类器的数学原理中，没有解释为什么theta与边界boundary垂直，当时学的时候一头雾水，在查阅一些资料之后终于该清楚了，下面的推导过程。 ...
机器学习笔记（二十一）：决策边界
云布道师
07-13 6475
凌云时刻 · 技术导读：决策边界顾名思义就是需要分类的数据中，区分不同类别的边界，举个不恰当的例子，就像省的地界一样，你处在北京还是处在河北，全看你站在区分北京和河北的那条线的哪边。这节...
机器学习第七周（一）--SVM
shiyongraow的博客
09-07 1546
优化目标 支持向量机的引入 构建支持向量机 支持向量机的假设函数 大间距分类 安全距离因子 SVM决策边界线性分割 异常点 大间距分类的数学原理 向量内积 决策边界优化目标支持向量机的引入作者从逻辑回归开始向我们一点点引入。 在逻辑回归中，假设函数和图像如下： 如果y=1,那么我们想要的结果就是假设函数无限近似1，对应的Z就要远大于0,同理，如果y=0,那么Z就需要远小于0。 而且我们有损
Python实现吴恩达机器学习：SVM作业与线性决策边界分析
首先，理论部分回顾了SVM的代价函数，其形式为一个数据点误差项的和加上所有参数θ的平方和的一半，这个公式展示了C如何通过影响每个数据点的权重来影响决策边界。C的调整直接影响模型对异常点（如图中的误差点）的...
评论 7
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值