SVM 论文阅读笔记

SVM 论文阅读笔记

原文:Sequential Minimal Optimization: A Fast Algorithm for Training Support Vector Machines

作者:John C.Platt

时间: 1998年

主要内容:

文章解决了什么问题?

SVM训练算法在大规模问题上收敛很慢,且十分复杂、难以实现,运算过程中需要维持一个 n 2 n^2 n2个元素的矩阵,当年(1998),问题规模超过4000个样本时,就超过了当时的内存大小(128MB)。
曾经的训练算法之一的Chunking使得算法从维持 n 2 n^2 n2个元素的矩阵降低到维持一个非0拉格朗日乘子数平方的元素数,但仍然无法解决大规模问题(内存不足)。
1997年Osuna提出了一个训练方法,并证明了解二次规划问题可以化归为解决其子问题,只要每次向子问题中增加一个违反KKT条件的样本即可。另一方面,为了让训练方法适应到任意规模的二次规划问题,Osuna在每次加入一个不满足KKT条件的样本同时,剔除一个样本以维持矩阵的大小恒定。存在的问题是每次为了一个样本运行整个二次规划数值算法,效率十分底下,而且会出现很多数值精度问题。

用了什么方法?

序列最小优化算法(SMO),包括两个部分

  • 一个解决两个拉格朗日乘子优化的分析方法
  • 一个选择优化乘子的启发式方法。

效果如何

  • 快,比chunking算法约快1阶
  • 占用内存小,可以解决更大规模的问题
  • 使用分析方法,不使用数值的二次规划方法
  • 形式简单,容易实现
  • 使用稀疏方法的加速效果显著

存在什么不足

需要更多的基准测试来使SMO成为一个标准的SVM训练方法。

细节

算法流程图如下所示
算法一,主步骤
在这里插入图片描述
算法二,选定第二个拉格朗日乘子的方法
在这里插入图片描述

其他

验证算法时需要注意的地方

  • 保证对比算法是一个合适的benchmark
  • 保证对比算法的代码实现与其公认的效率是符合的
  • 保证两个算法的精度相同
  • 保证两个算法解决的任务是合适的
  • 使用了两个公开数据集和两个人工数据集,其中第一个人工数据集线性可分,另一个是噪音。
  • 使用log-log图近似估计了算法的复杂度
  • 仅选择了一组在验证集上表现较好的超参数
  • 0
    点赞
  • 8
    收藏
    觉得还不错? 一键收藏
  • 1
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值