【吴恩达机器学习-笔记整理】SVM-支持向量机（新的代价函数，最大间隔，高斯核函数，特征数与样本数不同大小关系时的选择）

最新推荐文章于 2023-11-03 14:40:23 发布
最新推荐文章于 2023-11-03 14:40:23 发布
阅读量973 收藏 2
点赞数
分类专栏： 机器学习｜吴恩达的机器学习笔记 文章标签： 机器学习 支持向量机 算法
版权声明：本文为博主原创文章，遵循 CC 4.0 BY 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_21471309/article/details/126486102
版权

目录：

🌵🌵🌵前言

✨你好啊，我是“ 怪& ”，是一名在校大学生哦。
🌍主页链接：怪&的个人博客主页
☀️博文主更方向为：课程学习知识、作业题解、期末备考。随着专业的深入会越来越广哦…一起期待。
❤️一个“不想让我曾没有做好的也成为你的遗憾”的博主。
💪很高兴与你相遇，一起加油！

SVM隶属于监督学习算法

一、优化目标

1、新的代价函数

logistic回归：
在这里插入图片描述

紫红色线的和logistic回归中代价函数的形状很相似（紫色线条即我们使用的新的代价函数）

在这里插入图片描述

2、构建支持向量机

训练样本的代价函数和正则化项数
将上式简化为A+λB
首要工作是：设定不同的λ值，以便能够权衡多大程度的适应训练集，即最小化A，还是保证B足够小

在这里插入图片描述

支持向量机的总体优化目标，通过优化此来得到参数

在这里插入图片描述

二、最大间隔

支持向量机也叫“最大间隔分类器”

在这里插入图片描述

在SVM中，构建了安全因子，一个安全间距，
间隔使SVM具有鲁棒性（在分离数据时，会尽量用大的间距去分离）

请添加图片描述
请添加图片描述

2、只使用最大间隔分类器时，学习算法会对异常点很敏感

当参数C很大时，异常点可能使图中黑线变为紫红线
C不太大时，仍为黑线状态

请添加图片描述

三、数学原理

请添加图片描述

优化函数目标在此图左上角：即1/2*(θ)^2
其需要满足条件s.t.

请添加图片描述

四、核函数

将此处这个相似函数称作为核函数
示例为高斯核函数
还有线性核函数

1、以高斯核函数为例

请添加图片描述

2、运行原理

请添加图片描述

x距离l越近，f值计算出的值就越接近1。
x距离l越远，f值计算出的值就越接近0。

特征值f1衡量了x到第一个标记有多近

3、高斯核函数的参数变化：

请添加图片描述

4、带入参数为例

请添加图片描述

5、如何选择l

请添加图片描述

6、如何选择参数

请添加图片描述

五、使用SVM

记得将特征值归一化，否则其一特征影响过大

请添加图片描述
请添加图片描述

1、常用的核函数

线性核函数、高斯核函数、多项式核函数

请添加图片描述

2、满足的条件

核函数需要满足默塞尔定理

因为支持向量机算法或者SVM的实现函数有许多熟练的数值优化技巧
这个定理确保所有的SVM包，所有的SVM软件包都能用大类的方法并从而迅速得到参数θ

3、多分类

请添加图片描述

4、特征数n与样本数m不同相对大小关系时的选择

请添加图片描述

❤️❤️❤️忙碌的敲代码也不要忘了浪漫鸭！

怪&
关注
专栏目录
机器学习之SVM支持向量机与核函数（吴恩达机器学习）
学习中
11-14 971
机器学习之SVM支持向量机与核函数（吴恩达机器学习）
coursera-斯坦福-机器学习-吴恩达-第7周笔记-支持向量机SVM
热门推荐
和而不流
12-15 1万+
coursera-斯坦福-机器学习-吴恩达-第7周笔记-支持向量机SVM coursera-斯坦福-机器学习-吴恩达-第7周笔记-支持向量机SVM 1大间距分类器 large margin classifier 1通过逻辑回归引入SVM 1宽边界分类器SVM 3SVM数学原理 2核函数 1核函数1简单例子讲解概念 2核函数2SVM计算步骤 3实践SVM 4复习 1quiz 2编程1大间距分类器 lar
吴恩达机器学习 笔记七 支持向量机svm
qsdzxp的博客
09-16 659
1. 线性svm 1.1 代价函数   吴恩达的svm课程中由logisitic回归讲起，将logistic回归中的代价函数转换成图中的形式。刚开始的时候我自己很疑惑这个地方： 为什么代价函数要变成这个样子 又为什么代价为零的地方要是z=1和−1z=1和−1z=1和-1,不是z=2,3,4……z=2,3,4……z=2,3,4……   直到好好研究了一番svm的几何意义才明白这样做的意义...
吴恩达机器学习--支持向量机(SVM)
最新发布
m0_64080654的博客
11-03 268
支持向量机（Support Vector Machine），在学习复杂的非线性方程时提供了一种更为清晰，更加强大的方式。
吴恩达老师机器学习笔记SVM（一）
八千鸟的博客
10-22 657
时隔好久没有再拾起机器学习了，今日抽空接着学 今天是从最简单的二维数据分类开始学习SVM~ （上图为原始数据） SVM的代价函数 这里套用以前logistic回归的模板改一下下。。 theta=rand(3,1); [m,n]=size(X); x=ones(m,1); % 添加常量 x=[x X]; for i=1:10000% 拟合次数 theta=theta-(((...
吴恩达机器学习-支持向量机
Chen_shu_bct的博客
09-13 283
优化目标 支持向量机也被称为大间距分类器，因为他会以最大间距分隔样本 我们可以从优化目标来一步步认识支持向量机 sigmoid函数： 在逻辑回归中，一个样本的代价函数的形式为： 根据y的值不同，我们分别画出不同的函数图像 当y = 1 时，函数只剩下左边部分，可得到左图形式的函数图像，右边同理 我们用近似的折线来代替这个函数（即一条水平线加一条斜线），先不用管这个斜线的斜率是多少 我们将左图蓝色的函数记为cost1(z),将右边蓝色的函数记为cost0(z),下标表示的是y的值不同的 接下来我们就可
吴恩达机器学习系列四(SVM)
苣篛
01-03 443
吴恩达机器学习系列四如何设计复杂的学习系统构建一个学习算法的推荐方法为误差分析类偏斜的误差度量偏斜类（skewed classes）查准率（Precision）/查全率（Recall）Precision 查准率Recall 查全率查准率和查全率之间的权衡F1 Score机器学习的数据支持向量机（Support Vector Machines）优化目标大边界的直观理解大间距分类器核函数1核函数2如何选择地标？总结使用支持向量机多分类问题如何选择逻辑回归还是支持向量机模型 如何设计复杂的学习系统 构建一个学习算
第十二章-SVM支持向量机 深度之眼_吴恩达机器学习作业训练营
01-06
支持向量机（Support Vector Machines,简称SVM）是一个非常强大且广泛运用与工业界和学术界的算法，其为学习复杂的非线性方程提供了一直清晰且强大的方法。其即可用于分类问题，又可稍加变形运用到
数据分析【机器学习】总结之-----SVM(支持向量机)十大常见面试题整理
天阑之蓝的博客
06-16 5937
阅读之前看这里????：博主是正在学习数据分析的一员，博客记录的是在学习过程中一些总结，也希望和大家一起进步，在记录之时，未免存在很多疏漏和不全，如有问题，还请私聊博主指正。 博客地址：天阑之蓝的博客，学习过程中不免有困难和迷茫，希望大家都能在这学习的过程中肯定自己，超越自己，最终创造自己。 SVM“支持向量机”十大常见面试题整理（1）SVM的原理是什么？（2）支持向量机的分类及区别（3）SVM为什么采用间隔最大化？（4）为什么SVM要引入核函数？(将线性不可分变成线性可分)（5）常用的核函数（6）为什么
吴恩达机器学习（九）—— 支持向量机
Taurus
07-03 2408
支持向量机1. 优化目标2. 大间距的直观理解3. 大间距分类器背后的数学原理4. 核函数5. 使用支持向量机 1. 优化目标   与Logistic回归和神经网络相比，支持向量机（SVM）在学习复杂的非线性方程时提供了一种更为清晰、更加强大的方式。   接下来，我们从Logistic回归开始展示我们如何一点一点修改来得到本质上的支持向量机。   Logistic回归模型的假设函数是hθ(x)=g(θTx)=11+e−θTxh_{\theta }(x)=g(\theta ^{T}x)=\frac{1}{1+
支持向量机SVM 参数选择
weixin_34010949的博客
09-17 8619
http://ju.outofmemory.cn/entry/119152 http://www.cnblogs.com/zhizhan/p/4412343.html 支持向量机SVM是从线性可分情况下的最优分类面提出的。所谓最优分类，就是要求分类线不但能够将两类无错误的分开，而且两类之间的分类间隔最大，前者是保证经验风险最小（为0），而通过后面的讨论我们看到，使分类间隔最大实际上就是使得推广...
吴恩达机器学习[13]-支持向量机
踏归 的博客
07-29 434
吴恩达机器学习
吴恩达机器学习笔记(六)——支持向量机
TEDIST的博客
08-21 2289
支持向量机 1 概述 支持向量机（Support Vector Machine, SVM）是一类按监督学习（supervised learning）方式对数据进行二元分类的广义线性分类器（generalized linear classifier），其决策边界是对学习样本求解的最大边...
（吴恩达）7. 支持向量机
顾道长生的科研笔记
09-25 293
文章目录十二、支持向量机(Support Vector Machines)12.1 优化目标12.2 大边界的直观理解12.3 大边界分类背后的数学12.4 核函数12.5 使用支持向量机 十二、支持向量机(Support Vector Machines) 12.1 优化目标 开始建立支持向量机 支持向量机中我们的整个优化目标函数 当最小化代价函数，获得参数θ{{\theta }}θ时，支持向量机所做的是它来直接预测yyy的值等于1，还是等于0。因此，这个假设函数会预测1。当θTx\theta^T.
吴恩达机器学习12-支持向量机
研究生在读，研究方向人工智能和嵌入式编程
07-13 386
支持向量机、核函数、多分类、逻辑回归
吴恩达机器学习笔记（十二）-支持向量机
Messi-Q Blog
06-27 1768
第十三章 支持向量机（SVM）优化目标    支持向量机在学习复杂的非线性方程时能够提供一种更为清晰个更加强大的方式。    先回顾一下逻辑回归的相关概念，看如何进行改动可以得到支持向量机。逻辑回归的假设函数为，对应的图像如下：    如果有样本y=1，希望能尽可能接近1，意味着远大于0；    如果有样本y=0，希望能尽可能接近0，意味着远小于0。    逻辑回归中的代价函数为：    针对某一...
吴恩达机器学习笔记之支持向量机
blue_coffeei的博客
02-22 484
优化目标（Optimization Objective）： Support Vector Machines（SVMs）支持向量机是一种非常强大的算法，在学习复杂的非线性方程时提供了一种更为清晰，更加强大的方式。我们首先从优化目标开始一步一步认识SVMs，首先从逻辑回归的优化目标开始： 下图是逻辑回归中的假设函数-sigmoid函数， 我们已经清楚的知道逻辑回归的优化目标，下图表示的为一个...
吴恩达《机器学习》第十二章：支持向量机SVM
CodeLuweir 的博客
11-26 400
文章目录十二、支持向量机12.1 优化目标12.2 大边界的直观理解12.3 数学背后的大边界分类12.4 (高斯)核函数112.5 (高斯)核函数212.6 使用支持向量机 十二、支持向量机 12.1 优化目标 SVM：support vector machine； 把代价函数分成两部分，比如左边：hθ(X)=1/(1+e-z)，当z趋向于很大的数时，hθ(X)才能取到1； 支持向量机： 取出1/m，惯例不同而已，1/m不影响θ的结果； 这是支持向量机的总体代价函数： 12.2 大边界的直观理
《吴恩达机器学习》12 支持向量机
JockerWong的笔记工厂
02-20 597
支持向量机前言一、优化目标二、大间隔分类器1、直观理解2、数学原理三、核函数四、使用SVM总结 前言 到目前为止,我们已经见过一系列不同的学习算法。在监督学习中，许多学习算法的性能都非常类似，因此，重要的不是你该选择使用学习算法 A 还是学习算法 B，而更重要的是，应用这些算法时，所创建的大量数据在应用这些算法时，表现情况通常依赖于你的水平。比如：你为学习算法所设计的特征量的选择，以及如何选择正则...
Python实现吴恩达机器学习：SVM作业与线性决策边界分析
在这个编程作业中，我们深入学习了吴恩达教授的机器学习课程，专注于第6讲中的支持向量机（SVM）。课程的重点是线性SVM，即在二维数据集`data/ex6data1.mat`上观察惩罚项系数C对决策边界的影响。惩罚项系数C在SVM中...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

怪&

感谢您的支持

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值