SVM笔记--要点

最新推荐文章于 2024-10-09 19:26:58 发布
最新推荐文章于 2024-10-09 19:26:58 发布
阅读量133 收藏
点赞数
分类专栏： 学术 SVM 文章标签： 分类 SVM
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/iteye_11349/article/details/82487594
版权
学术 同时被 2 个专栏收录
11 篇文章 0 订阅
订阅专栏
SVM
1 篇文章 0 订阅
订阅专栏
[size=x-large][color=blue]0、心得[/color][/size]
[size=large][list]
[*]很多问题能在FAQ中找到：[url]http://www.csie.ntu.edu.tw/~cjlin/libsvm/faq.html[/url]
[*][b]Grid search[/b]选参数很重要！ 在一次训练数据100%正确率，测试数据只有50%多后深有体会，代码见：[url]http://www.csie.ntu.edu.tw/~cjlin/libsvm/faq.html#f803[/url]
[*]无需自己写[b]cross-validation[/b]程序， 用 -v参数即可（但返回值只有正确率了），代码和Grid search链接相同
[*]多类问题，自动支持，有几类设置几种标签即可，采用 1-vs-1的方法，如果要用1-vs-rest，可以参看：[url]http://www.csie.ntu.edu.tw/~cjlin/libsvm/faq.html#f808[/url]
[*]数据unblance问题：通过 -w参数设置权重，具体参见README和[url]http://www.csie.ntu.edu.tw/~cjlin/libsvm/faq.html#f410[/url]
[/list][/size]


[size=large]本文是从LIBSVM的guide中抽出来的要点：[/size][url]http://www.csie.ntu.edu.tw/~cjlin/libsvm/[/url]
[size=x-large][color=blue]1、简介[/color][/size]
略
[size=x-large][color=blue]2、数据预处理[/color][/size]
[size=large][list]
[*]①特征较少时用one-hot code表示，也即有加入分RGB三种颜色，不要R用1，G用2，B用3表示，而是应该用三维向量 (1,0,0), (0,1,0), (0,0,1)表示这三种颜色。
[*]②特征的scaling问题：建议将特征缩放到区间[-1,1]或[0, 1] (线性地缩放)
[/list][/size]

[size=x-large][color=blue]3、核函数的选择[/color][/size]
[size=large][list]
[*]一般径向基函数（RBF）比较好；
[*]特征维度很高时最好采用Linear kernal
[/list][/size]

[size=x-large][color=blue]4、参数选择--交叉验证和grid搜索[/color][/size]

[size=large][color=red]目标：[/color]在测试数据上取得高的正确率（而非在训练数据上！）
[color=red]k-fold 交叉验证[/color](cross validation):将训练集分为k份，1份做验证，其他k-1份做训练。如此，可以训练k、验证k次，求取平均正确率作为衡量标准。 这样可以有效防止过拟合。

对于参数C和径向基函数的参数γ，可以采用[color=red]由粗到精[/color]的搜索策略。
如先在C=2^-3, 2^-2,..., 2^10; γ=2^-7, ... 2^-3的网格上搜索最优值，
再在其附近的网格内细分网格进行搜索。 （可以并行~~~）

对于大数据集，一个策略是先随机选一部分在粗网格上选取最优参数，再在细化最优参数时对整个训练集进行参数的网格搜索。

选取到最优参数后，再用这组参数重新利用整个训练集进行训练。[/size]

[size=x-large][color=blue]5、适于使用linear核函数而非径向基函数的情况[/color][/size]
[size=large][list]
[*]样本数<<特征维数，
[*]样本数和特征维数都很大，适于使用LIBLINEAR工具箱（比LIBSVM快很多）。
[*]样本数>>特征维数，适于使用LIBLINEAR工具箱。
[/list][/size]
[size=large]LIBLinear工具箱：[/size][url]http://www.csie.ntu.edu.tw/~cjlin/index.html[/url]
iteye_11349
关注
专栏目录
机器学习笔记 - 何时进行特征缩放
学以致用 知行合一
03-21 1499
特征缩放是一种用于标准化自变量或数据特征范围的方法。在数据处理中，也称为数据归一化，通常在数据预处理步骤中执行。 举个例子——如果你有多个独立变量，比如年龄、薪水和身高；它们的范围分别为（18-100 年）、（25,000-75,000 欧元）和（1-2 米），特征缩放将帮助它们都处于同一范围内，例如以 0 为中心或在范围内(0,1) 取决于缩放技术。 为了将上述内容可视化，让我们以 存放在 UCI 机器学习存储库中的“葡萄酒数据集”中的葡萄酒数据集中的酒精和苹果酸含量的......
读书笔记--Neural Networks and Deep Learning（CH1）
忧郁一休
11-08 1647
第一章：使用神经网络识别手写数字1.1 感知器20世纪五、六十年代由科学家 Frank Rosenblatt 发明，感知器是一种“人工神经元”。上图为一个简单的感知器 输入：x1 x2 x3 权重（表⽰相应输⼊对于输出重要性的实数）：w1 w2 w3 输出：0或1 阈值：和权重一样，阈值是一个实数，一个神经元的参数用更精确的代数形式表示为下图： 为了简化感知器的数学描述，我们做两个变动。
SVM要点总结（一）
aozhihaocheny4529的博客
07-06 177
序 SVM支持向量机作为统计分类和回归分析中的重要方法，其理论推导难度较大，根据自己查阅的相关资料，按照问题理解、待处理数据是否可分的判断、主要推导过程、核函数的选择及推导、核函数的选择原则、python实现的相关方法、超参数调优等内容，以粗线条的方式，总结如下要点，方便查阅和易于理解： 1.问题分解 SVM是寻求最优的分割超平面问题<=>带一系列不等式约束的优化问题。...
SVM要点分析
achitc的专栏
09-16 1659
1.hypothesis:  2.
机器学习_SVM学习要点记录
dataastron的博客
07-25 131
对于任意支撑向量 核函数 高斯核函数rbf
SVM知识点整理（持续更新...）
qq_24263553的博客
03-24 745
1. SVM的原理是什么？ SVM是一种二类分类模型。它的基本模型是在特征空间中寻找间隔最大化的分离超平面的线性分类器。（间隔最大是它有别于感知机） （1）当训练样本线性可分时，通过硬间隔最大化，学习一个线性分类器，即线性可分支持向量机； （2）当训练数据近似线性可分时，引入松弛变量，通过软间隔最大化，学习一个线性分类器，即线性支持向量机； （3）当训练数据线性不可分时，通过使用核技巧及软间隔最大...
hash trick在机器学习中的使用
juary_的专栏
01-05 4354
一、为什么需要hash trick？ 在工业界，数据经常不仅是量大，而且维度也很高，所以出现很多具体的大规模的机器学习问题，比如点击率预测问题。在CTR中，特征涉及到广告主和用户等。大多特征都可以看做categorical。对categorical feature一般使用1-of-c编码方式（统计里称为dummy coding）。对于取值为实数的特征我们可以进行离散化处理（实际应用中一般也不
支持向量机-笔记
最新发布
weixin_44965579的博客
10-09 1278
是一种强大的监督学习算法，广泛应用于分类和回归任务，特别是在分类问题中表现优异。SVM 的核心思想是通过寻找一个，将不同类别的数据点进行分割，并最大化两类数据之间的间隔（即“”）。SVM 的本质是一个算法，但它也可以扩展到多分类和回归问题。
SVM Kernel学习笔记
TragicJun的专栏
02-05 1万+
SVM是机器学习里应用最广泛的模型之一，而说起SVM大家一般都会提kernel，有叫kernel function也有叫kernel trick的。这是因为实际的应用中，没有kernel的SVM也就是一个线性分类器，与LR（logistic regression）没有本质的差别，就连目标函数都很相似。 线性分类器是指它的decision boundary是线性的，但训练数据并不一定能被线性区分开
机器学习课程笔记【KCBJ-JQXX-WED-003】
01-24
笔记中讨论了SVM的核心概念，包括优化目标、核函数，以及如何使用SVM进行分类。 聚类（Clustering）是一种无监督学习方法，旨在将数据集划分为多个类别。笔记中介绍了K均值聚类算法，并讨论了其应用场景。 降维...
svm 交叉验证 python_Python机器学习笔记：SVM（4）——sklearn实现
weixin_39637646的博客
12-04 1822
完整代码及其数据，请移步小编的GitHub传送门：请点击我如果点击有误：https://github.com/LeBron-Jian/MachineLearningNote上一节我学习了SVM的推导过程，下面学习如何实现SVM，具体的参考链接都在第一篇文章中，SVM四篇笔记链接为：对SVM的概念理清楚后，下面我们对其使用sklearn进行实现。1，Sklearn支持向量机库概述我们知道SVM相对感...
学习Opencv2.4.9(四)---SVM支持向量机
热门推荐
咕唧咕唧shubo.lk的专栏
11-28 4万+
作者：咕唧咕唧liukun321来自：http://blog.csdn.net/liukun321先来看一下什么是SVM(支持向量机) SVM是一种训练机器学习的算法，可以用于解决分类和回归问题，同时还使用了一种称之为kernel trick（支持向量机的核函数）的技术进行数据的转换，然后再根据这些转换信息，在可能的输出之中找到一个最优的边界(超平面)。简单来说，就是做一些非常复杂的数据转换工作，
论文标记及命名规范（自己用，慢慢完善）
LC
11-30 2572
1、定义 [img]http://dl.iteye.com/upload/attachment/598000/26ae0ee0-9f7f-3bd3-808c-d5436fd2ee1d.png[/img] 2、假设、结论等 [img]http://dl.iteye.com/upload/attachment/598002/d3802a1b-2cb3-3a04-b70c-7d3a07...
【转载】endnote导致word的cpu占用率高，很卡的解决办法
LC
10-23 1607
[size=large]以下内容来自：[/size][url]http://hi.baidu.com/clayluo/item/41c1e92ce5cf740a42634af1[/url] [quote][size=large]问题：word 2010 运行速度极慢，占用CPU资源高 原因：Endnote中（X2,X3,X4)的宏功能与word拼写检查功能不兼容 解决：（word2010) ...
windows 10下安装GPU版MXNet
LC
06-03 913
上回说到编译CPU版的MXNet： [url]http://cherishlc.iteye.com/blog/2299864[/url] 最近攒了个带GPU的本本，，终于可以整GPU版的啦~ 过程和编译CPU版的差不多，但是却花了3天时间填坑，，具体过程本文不再详述，请先编译CPU版。 与编译CPU版不同之处在于： [list] [*]win10下必须使用Cuda8RC（我的是965...
windows下安装CPU版mxnet
LC
05-23 817
MXnet （mix net）类似Caffe，Tensorflow，是一个深度学习框架， 优点是很省显存，，而且windows下也能用~~ Mxnet是DMLC的子项目：[url]http://dmlc.ml/[/url] Mxnet官网：[url]http://mxnt.ml/en/latest//[/url] windows下安装GPU版本参见我的另一篇博文（需要先看完...
sigmoid 函数
LC
09-14 810
[size=large]神经网络里常常见到sigmoid函数(又称logistic函数)，也会提到进入饱和区后该函数的导数很小，不利于训练。 那么，精确值是多少呢，今天，就画个图来看看：[/size] [img]http://dl2.iteye.com/upload/attachment/0101/1262/7e106164-f4d1-3bc4-be0d-e57d1358cbf2.png[/i...
Convex Optimization 相关资源汇总
LC
09-26 467
[size=x-large][color=blue]1、Stephen P. Boyd主页[/color][/size] [url]http://stanford.edu/~boyd/[/url] [size=x-large][color=blue]2、英文版《Convex Optimization》图书[/color][/size] 在Boyd主页就能下到正版~ [url]htt...
矩阵微分笔记
LC
01-08 266
[size=large]自己学习矩阵微分的笔记，包含了迹函数、行列式函数以及逆矩阵的求导方法。 主要是练习求导的链式法则；以及利用微分求导数。 更具体的参见[quote]张贤达,矩阵分析与应用,清华大学出版社,2004[/quote][/size] [img]http://dl.iteye.com/upload/attachment/0079/0110/c458bd85-c37b-3191-...
ARIMA SARIMA VAR Auto-ARIMA Auto-SARIMA LSTM GRU RNN CNN MLP DNN MLP-LSTM MLP-GRU MLP-RNN MLP-CNN LSTM-ARIMA LSTM-MLP LSTM-CNN GRU-ARIMA GRU-MLP GRU-CNN RNN-ARIMA RNN-MLP RNN-CNN CNN-ARIMA CNN-MLP CNN-LSTM CNN-GRU ARIMA-SVM SARIMA-SVM VAR-SVM Auto-ARIMA-SVM Auto-SARIMA-SVM LSTM-SVM GRU-SVM RNN-SVM CNN-SVM MLP-SVM LSTM-ARIMA-SVM LSTM-MLP-SVM LSTM-CNN-SVM GRU-ARIMA-SVM GRU-MLP-SVM GRU-CNN-SVM RNN-ARIMA-SVM RNN-MLP-SVM RNN-CNN-SVM CNN-ARIMA-SVM CNN-MLP-SVM CNN-LSTM-SVM CNN-GRU-SVM ARIMA-RF SARIMA-RF VAR-RF Auto-ARIMA-RF Auto-SARIMA-RF LSTM-RF GRU-RF RNN-RF CNN-RF MLP-RF LSTM-ARIMA-RF LSTM-MLP-RF LSTM-CNN-RF GRU-ARIMA-RF GRU-MLP-RF GRU-CNN-RF RNN-ARIMA-RF RNN-MLP-RF RNN-CNN-RF CNN-ARIMA-RF CNN-MLP-RF CNN-LSTM-RF CNN-GRU-RF ARIMA-XGBoost SARIMA-XGBoost VAR-XGBoost Auto-ARIMA-XGBoost Auto-SARIMA-XGBoost LSTM-XGBoost GRU-XGBoost RNN-XGBoost CNN-XGBoost MLP-XGBoost LSTM-ARIMA-XGBoost LSTM-MLP-XGBoost LSTM-CNN-XGBoost GRU-ARIMA-XGBoost GRU-MLP-XGBoost GRU-CNN-XGBoost RNN-ARIMA-XGBoost RNN-MLP-XGBoost RNN-CNN-XGBoost CNN-ARIMA-XGBoost CNN-MLP-XGBoost CNN-LSTM-XGBoost CNN-GRU-XGBoost ARIMA-ANN SARIMA-ANN VAR-ANN 上面这100个缩写模型的全称及相关用途功能详细解释
07-15
以下是对上述100个缩写模型的全称及相关用途功能的详细解释： 1. ARIMA (AutoRegressive Integrated Moving Average): 适用于平稳时间序列数据的预测，结合了自回归 (AR) 和移动平均 (MA) 的模型。...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值