李宏毅机器学习——学习笔记(18)Support Vector Machine(SVM)

本文深入探讨了SVM(支持向量机)的工作原理,包括HingeLoss函数的作用及其实现二分类的过程。对比了SVM与DeepLearning在特征转换上的不同,详细解释了LinearSVM的梯度下降过程,以及KernelFunction如何简化计算并提高效率。同时,介绍了几种常见的Kernel函数,如RBF和SigmoidKernel,并讨论了它们在复杂数据集上的应用。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

Hinge Loss + Kernel Method 就是SVM。

hinge loss

进行二分类的过程中,采取sigmoid和cross entropy的原因是gradient descent的梯度很大,利于参数调整。
在这里插入图片描述
Hinge loss function就是:在这里插入图片描述
图中的紫色段,hinge loss 和cross entropy的差别在于对于预测准确后的样本的奖赏程度。
在这里插入图片描述

Linear SVM:hinge loss在某些位置是不可微分的,但是类似于relu函数

在这里插入图片描述
Linear SVM进行gradient descent
在这里插入图片描述
另外一种形式的SVM:两种形式可以互相进行转化,由于是最小化loss function,所以红色方框中两个式子是一致的。

在这里插入图片描述
由于w每次都是加减data point的linear combination,所以当我们最终w的值就是数据点的linear combination。如果使用hinge loss的话,偏微分的值可能为0,也就是说某些数据点不会加入到w中。只有某些数据点上对w才有影响,这些数据点可以作为support vector

在这里插入图片描述
通过对w用x进行表示,可以对f(x)的函数形式进行更改,最终可以表示成Dual representation的形式。
在这里插入图片描述
用kernel函数代替内积,在训练过程中,只需要kernel值就可以优化,求解a的值
在这里插入图片描述
kernel函数,x变换成Φ(x)以后进行的操作,可以先在x上进行该操作,在进行Φ(x)操作即可。
在这里插入图片描述直接计算Kernel(x,z),比“特征转换+内积”的速度要快的多
在这里插入图片描述
基于RBF(径向基函数)的核函数,能够将样本映射到无限维的空间中。

在这里插入图片描述
Sigmoid Kernel:sigmoid kernel函数类似于一层隐含层的,每个神经网络的权重就是一个数据点。
在这里插入图片描述
不需要考虑x、z的feature,当x是结构化数据的时候,很难定义x的特征转换函数。
在这里插入图片描述
SVM的相关方法:
在这里插入图片描述
Deep Learning VS SVM

  • Deep Learning的前几层可以看成是feature transformation,最后一层是linear classifier。
  • SVM基于Kernel function将input映射到feature space中。

在这里插入图片描述

### 关于支持向量机 (SVM)机器学习 PPT 资料 以下是关于支持向量机 (SVM)机器学习领域的一些可能的 PPT 和课件资源方向: #### 1. **清华大学 数据挖掘课程** 清华大学袁博副教授在其【数据挖掘:理论与算法】课程中深入讲解了 SVM 原理及其应用。该课程不仅涵盖了基础概念,还涉及拉格朗日对偶性、KKT 条件等内容[^2]。可以在清华大学开放课程平台或者相关学术网站上查找对应的讲义或视频。 #### 2. **李宏毅机器学习》飞桨特训营** 李宏毅教授的支持向量机模块详细介绍了 SVM 的基本使用方法以及如何通过 OpenCV 进行参数调整。此部分还包括核函数的选择和 SMO 算法的实际操作案例[^3]。建议访问李宏毅老师的公开课程页面下载相关 PDF 或者 PPT 文件。 #### 3. **王小草 【机器学习】笔记** 王小草老师在她的笔记中提到,SVM 是基于找到集合“边界”上的若干点并以此构建最大间隔超平面的方法。她进一步解释了为何这些特定点被称为支持向量,并提供了直观的理解方式[^4]。这类教学材料通常会附带详细的图示说明,适合初学者入门。 #### 推荐获取途径 为了获得高质量的 SVM 相关 PPT 资料,可以从以下几个方面入手: - 访问各大高校官网查询计算机科学系发布的免费教材; - 利用搜索引擎输入关键词如 “support vector machine ppt”,结合教育机构域名筛选可信来源; - 加入一些专注于 AI/ML 领域的学习社区分享群组,与其他成员交流优质文档链接。 ```python import requests from bs4 import BeautifulSoup def search_ppt(query): url = f"https://www.google.com/search?q={query}+ppt" headers = {"User-Agent": "Mozilla/5.0"} response = requests.get(url, headers=headers) soup = BeautifulSoup(response.text, 'html.parser') results = [] for link in soup.find_all('a'): href = link.get('href') if ".ppt" in href or ".pdf" in href: results.append(href) return results[:5] search_results = search_ppt("support vector machine") print(search_results) ``` 上述 Python 脚本可以帮助快速定位网络中的 SVM 教学文件地址列表。 --- 相关问题
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值