吴恩达机器学习笔记week12——支持向量机 Support vector machine

最新推荐文章于 2024-11-14 16:47:38 发布
最新推荐文章于 2024-11-14 16:47:38 发布
阅读量138 收藏
点赞数
文章标签： 机器学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Saulty/article/details/109325538
版权

吴恩达机器学习笔记week12——支持向量机 Support vector machine

12-1.优化目标 Optimization objective

支持向量机的代价函数 VS 逻辑回归的代价函数
在这里插入图片描述

SVM的优化目标/代价函数：在这里插入图片描述
支持向量机直接计算出结果，而不是概率
SVM会让A趋于0
在这里插入图片描述

12-2.直观上对大间隔的理解 Large Margin Intuition

SVM==大间距分类器 large margin classifiers
在这里插入图片描述
当y=1,根据cost1，theta.transposex>=1时，cost1越小
当y=0,根据cost0，theta.transposex<=-1时，cost0越小
C一般来说，很大
在这里插入图片描述
大的margin，使得SVM具有好的鲁棒性robustness
在这里插入图片描述

12-3.大间隔分类器的数学原理 The mathematics behind large margin classification

  • vector inner product向量内积
    在这里插入图片描述
    假设偏置theta0==0，且只有两个特征
    在这里插入图片描述
    在这里插入图片描述
    theta向量和决策边界垂直
    最小化代价函数，就要使theta的模最小，则P尽可能大，形成大间隔分类

12-4.核函数1 Kernels——SVM在复杂非线性分类器的应用

作用：使用核函数在SVM中定义新的特征变量
核函数即相似度函数：衡量两者间的相似程度
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

12-5.核函数2 Kernels

  • 如何得到标记点landmarks
    ![在这里插入图片描述](https://img-blog.csdnimg.cn/20201028114356564.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1NhdWx0eQ==,size_1 6,color_FFFFFF,t_70#pic_center)
    在这里插入图片描述
    核函数也可以用于其他机器学习的算法，不过会很慢
  • 如何选择SVM参数
    在这里插入图片描述

12-6.使用SVM Using an SVM

在这里插入图片描述
在这里插入图片描述
核函数的选择：需要满足，满足默塞尔定理
线性核函数：不用核函数
高斯核函数
多项式核函数：两个参数
字符串核函数
卡方核函数
直方相交核函数
在这里插入图片描述
多分类问题
在这里插入图片描述
选择哪一个算法不是关键，逻辑回归，神经网络，SVM
关键在于有多少数据，是否对算法熟练，是否擅长做误差分析error analysis 和排除学习 debugging learning,如何设定新的特征变量

Saulty
关注
机器学习——支持向量机（Support Vector Machine）
weixin_37861936的博客
12-20 2194
1、什么是支持向量机？ 支持向量机（Support Vector Machine)是一种非常强大的、灵活的基于监督的机器学习算法。通俗地讲，标准的支持向量机是一种二元分类的算法。其基本模型定义为特征空间上的间隔最大的线性分类器。 在学习支持向量机之前有几个重要的概念： 线性可分(Linearly Separable)：在数据集中，如果可以找出一个超平面，将两组数据分开，那么这个数据集叫做线性可...
斯坦福大学吴恩达机器学习教程中文笔记——week7——支持向量机
Laic Zhang的博客
04-22 1409
第7周 文章目录第7周@[toc] 十二、支持向量机(Support Vector Machines)12.1 优化目标12.2 大边界的直观理解12.3 大边界分类背后的数学（选修）12.4 核函数112.5 核函数212.6 使用支持向量机 十二、支持向量机(Support Vector Machines) 12.1 优化目标 参考视频: 12 - 1 - Optimization Objec...
SVM_for_AGV_dispatching.zip
09-03
这个是用支持向量机求解AGVs调度的python代码，需要的可以拿去，有研究车间调度和AGV调度或者两者集成调度的可以参考。
AGV调度研究（部分论文提供了个人python复现）
太剧烈的快乐与太剧烈的悲哀是有相同之点的——同样地需要远离人群！
03-26 8412
1 问题简述 1.1 GA+启发式（VAA）： 《A hybrid GA/heuristic approach to the simultaneous scheduling of machines and automated guided vehicles》（2007/IJPR/Tamer F. Abdelmaguid） 编码：所研究问题的第一部分即工序调度的结构在理论上类似于作业车间调度问题，因此采用基于工序的编码。车辆分配和调度部分由一种称为车辆分配算法(VAA)的启发式算法来处理。 VAA从.
机器学习（Machine learning）8——Support Vector Machine(SVM)支持向量机
qq_41116319的博客
06-09 344
机器学习（Machine learning）——Support Vector Machine(SVM)支持向量机
5.2 大间距分类器-机器学习笔记-斯坦福吴恩达教授
赵继超的笔记
03-25 587
大间距分类器 在上节中，我们了解到了 SVM 最小化代价函数过程为： min⁡θC[∑i=1my(i)cost1(θTx(i))+(1−y(i))cost0(θTx(i))]+12∑j=1nθj2\min _θC[∑_{i=1}^m y^{(i)} cost_1(θ^Tx^{(i)})+(1−y^{(i)})cost_0(θ^Tx^{(i)})]+\frac12∑_{j=1}^nθ^2_jθmin...
Machine Learning - Coursera 吴恩达机器学习教程 Week7 学习笔记（Support Vector Machines）
zhang35的博客
02-12 1042
支持向量机SVM 在线性可分的情况下，训练数据集的样本点中与分离超平面距离最近的数据点称为支持向量(support vector)。 代价函数和逻辑回归比较相似： 又称为大间隔分类器，能找到最佳的线性分类位置： 向量内积的物理意义，相当于一个向量在另一个上面的投影长度的乘积： svm决策边界， 核（相似度）函数 SVM擅长解决线性不可分的分类问题。 描述某个样本与标记点的相似度（距离）。相当于映射到一个更高的维度。 高斯核函数 高斯核函数用来测量一对样本的距离，例如（xi, xj)的距离。 核
2022吴恩达机器学习笔记汇总(共10章节).zip
12-27
2022吴恩达机器学习笔记汇总(共10章节).zip2022吴恩达机器学习笔记汇总(共10章节).zip2022吴恩达机器学习笔记汇总(共10章节).zip2022吴恩达机器学习笔记汇总(共10章节).zip2022吴恩达机器学习笔记汇总(共10章节).zip...
吴恩达机器学习课后作业源码及笔记_机器学习_吴恩达_
10-01
这份名为“吴恩达机器学习课后作业源码及笔记”的压缩包文件，无疑是针对他开设的机器学习课程的学习辅助资料。这份资料包括了课程中的习题解答以及相关的编程代码，对于正在学习或已经学过吴恩达机器学习课程的人来...
吴恩达机器学习笔记pdf格式
05-19
《吴恩达机器学习笔记》是一份详尽的教育资源，旨在帮助学习者深入理解机器学习这一领域的核心概念和算法。吴恩达，作为人工智能和在线教育领域的先驱，以其深入浅出的教学风格闻名，他的机器学习课程在全球范围内广...
第十三章 支持向量机support vector machines SVM
weixin_42234769的博客
02-16 296
课时101 优化目标 逻辑回归中，记z=θTx。 y=1时，希望z远大于0，代价函数的值由左图的式子决定，可以看出z很大时代价很小。我们将玫红色的线记做cost1(z)。y=0时，希望z远小于0，代价函数的值由右图的式子决定，可以看出z很小时代价很小。我们将玫红色的线记做cost0(z)。 优化目标： 把负号移到了括号里面去了。去掉1/m不影响取最小值的θ值，这里去掉这个常数。把λ变化一下移到...
SVM(Support Vector Machine)读书笔记一（最佳分割超平面）
热门推荐
Jackie_Zhu的专栏
11-18 1万+
分类问题中，在一个线性不可分的样本上，通常需要用到一些Non-linear的特征，把低维度空间上的样本投影到高维度上，从而使得这些样本在高维度线性可分。但这投影过程通常也会有以下两个问题： 1. 如果在原样本中加了太多的高次多项式的特征，首先会导致过拟合，模型的泛化能力会很差；2. 多项式组合会有指数级别的组合方式，这使得在投影后的样本空间中维度非常高，这也会消耗太多的计算资源和空间资源 SVM解决了上面两个问题
机器学习——多重共线性问题
qhqlnannan的专栏
11-14 820
◆当存在多个维度时，特别注意变量的多重共线性问题，可以使用箱形图，直方图和散点图来查找规律性信息。
机器学习中的分类：决策树、随机森林及其应用
hai40587的博客
11-11 1022
决策树和随机森林是机器学习领域中两种非常强大且流行的分类和回归算法。它们通过模拟人类决策过程，将复杂的数据集分割成易于理解和处理的子集，从而实现对新数据的准确预测。决策树具有结构简单、易于理解和解释等优点，但容易过拟合和对噪声数据敏感。随机森林通过集成多个决策树，能够减少过拟合，提高模型的泛化能力，并具有良好的抗噪声能力和对缺失值问题的处理能力。在实际应用中，需要根据具体问题的特点和需求来选择合适的算法。
【python】机器学习调参与自动化：使用Hyperopt优化你的模型
最新发布
萧鼎的博客
11-14 933
Hyperopt 是一个 Python 库，用于优化和自动化机器学习模型的超参数调节。它支持多种优化算法，最常用的是贝叶斯优化（Bayesian Optimization）、随机搜索（Random Search）以及遗传算法（Genetic Algorithm）。Hyperopt 不仅适用于机器学习任务，也可以广泛应用于其他需要优化的场景。空间（Space）：定义超参数搜索空间。通常情况下，我们通过指定每个超参数的取值范围来定义一个空间。目标函数（Objective Function）
从0开始学习机器学习--Day22--优化总结以及误差作业（上）
Chef_Chen的博客
11-12 277
假如我们有这样一个学习问题：我需要在{to,too,two}中选出一个填入以下句子：For breakfast, I ate __eggs.在这种问题中，句子的信息越多，算法越有可能得到答案，也就是说训练集数据额定增大是有益的。在房价问题中，假如我们只给了房屋面积的大小以及价格，单纯只靠这个预测到真实的价格的难度是很大的，毕竟还需要考虑所处位置的地价。其实，这类问题概括起来，只要解决了偏差和方差的问题就可以了，那么我们要做的就是让算法的参数尽可能地多的同时，再增加训练集的数量，这样，，这样我们就可以保证。
《线性代数》学习笔记
tan_liang_liang的博客
11-11 305
直观上就是，如果第三个向量的直线掉在前面两条向量张成的平面，那么就线性相关，否则是线性无关的。就是用前面确定线性无关的两个列向量a和b，组成议程ax+by=c是否有解，如果有解。如何判断有解，用消元法。求解这样的方程，先把它转换成行阶梯式，而且每一个主元上面对应的系数是0。什么是基础解系，就是其它解可以表示成两个向量的线性组合，这两个向量就是基础解系。上个星期继续学线性代数，一个矩阵，如何判断它是的列向量有几个是线性无关呢？第二种方法是判断这个矩阵的行列式，如果行列式计算不是0,那么它的列向量就是无关的。
第十九周：机器学习
benbenxinchen的博客
11-10 784
本周复习了线性回归模型的基本概念、步骤以及应用场景，进一步延伸到代码层面。动手实践了吴恩达机器学习实验1——线性回归，单变量线性回归和多变量线性回归分别用sklearn库的LinearRegression模型和自定义线性回归模型训练数据并且进行预测，最终得出效率和准确率的对比。该实验不仅复习了模型训练的基本步骤，还进一步手动代码实现了模型的定义、损失函数的设置以及最优化的处理。为了更加熟悉pytorch框架的基本知识，本周还简单学习了torch的数据处理方式。
深度解析：吴恩达机器学习课程——支持向量机（SVM）
在机器学习领域，支持向量机（Support Vector Machines，简称SVM）是一种强大的监督学习算法，被誉为“现成”的最佳算法之一。吴恩达教授在斯坦福大学的CS229课程中深入讲解了SVM的核心概念和技术。 首先，我们讨论...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值