SVM面试题

最新推荐文章于 2019-08-20 22:34:11 发布

小胖蹄儿

最新推荐文章于 2019-08-20 22:34:11 发布

阅读量2.7k

点赞数

分类专栏：工作

工作专栏收录该内容

9 篇文章 1 订阅

订阅专栏

应聘数据挖掘工程师或机器学习工程师，面试官经常会考量面试者对SVM的理解。

以下是我自己在准备面试过程中，基于个人理解，总结的一些SVM面试常考问题（想到会再更新），如有错漏，请批评指正。（大神请忽视）

转载请注明出处：blog.csdn.net/szlcw1

SVM的原理是什么？

SVM是一种二类分类模型。它的基本模型是在特征空间中寻找间隔最大化的分离超平面的线性分类器。（间隔最大是它有别于感知机）

（1）当训练样本线性可分时，通过硬间隔最大化，学习一个线性分类器，即线性可分支持向量机；

（2）当训练数据近似线性可分时，引入松弛变量，通过软间隔最大化，学习一个线性分类器，即线性支持向量机；

（3）当训练数据线性不可分时，通过使用核技巧及软间隔最大化，学习非线性支持向量机。

注：以上各SVM的数学推导应该熟悉：硬间隔最大化（几何间隔）—学习的对偶问题—软间隔最大化（引入松弛变量）—非线性支持向量机（核技巧）。

SVM为什么采用间隔最大化？

当训练数据线性可分时，存在无穷个分离超平面可以将两类数据正确分开。

感知机利用误分类最小策略，求得分离超平面，不过此时的解有无穷多个。

线性可分支持向量机利用间隔最大化求得最优分离超平面，这时，解是唯一的。另一方面，此时的分隔超平面所产生的分类结果是最鲁棒的，对未知实例的泛化能力最强。

然后应该借此阐述，几何间隔，函数间隔，及从函数间隔—>求解最小化 $\frac{1}{2} ||w||^2$ 时的w和b。即线性可分支持向量机学习算法—最大间隔法的由来。

为什么要将求解SVM的原始问题转换为其对偶问题？

一、是对偶问题往往更易求解（当我们寻找约束存在时的最优点的时候，约束的存在虽然减小了需要搜寻的范围，但是却使问题变得更加复杂。为了使问题变得易于处理，我们的方法是把目标函数和约束全部融入一个新的函数，即拉格朗日函数，再通过这个函数来寻找最优点。）

二、自然引入核函数，进而推广到非线性分类问题。

为什么SVM要引入核函数？

当样本在原始空间线性不可分时，可将样本从原始空间映射到一个更高维的特征空间，使得样本在这个特征空间内线性可分。

引入映射后的对偶问题：
这里写图片描述

在学习预测中，只定义核函数 $K(x,y)$ ，而不是显式的定义映射函数 $ϕ$ 。因为特征空间维数可能很高，甚至可能是无穷维，因此直接计算 $ϕ(x)·ϕ(y)$ 是比较困难的。相反，直接计算 $K(x,y)$ 比较容易（即直接在原来的低维空间中进行计算，而不需要显式地写出映射后的结果）。

核函数的定义： $K(x,y)=<ϕ(x),ϕ(y)>$ ，即在特征空间的内积等于它们在原始样本空间中通过核函数K计算的结果。

除了 SVM 之外，任何将计算表示为数据点的内积的方法，都可以使用核方法进行非线性扩展。

svm RBF核函数的具体公式？

这里写图片描述

Gauss径向基函数则是局部性强的核函数，其外推能力随着参数σ的增大而减弱。

这个核会将原始空间映射为无穷维空间。不过，如果 σ 选得很大的话，高次特征上的权重实际上衰减得非常快，所以实际上（数值上近似一下）相当于一个低维的子空间；反过来，如果 σ 选得很小，则可以将任意的数据映射为线性可分——当然，这并不一定是好事，因为随之而来的可能是非常严重的过拟合问题。不过，总的来说，通过调控参数σ ，高斯核实际上具有相当高的灵活性，也是使用最广泛的核函数之一。

为什么SVM对缺失数据敏感？

这里说的缺失数据是指缺失某些特征数据，向量数据不完整。SVM没有处理缺失值的策略（决策树有）。而SVM希望样本在特征空间中线性可分，所以特征空间的好坏对SVM的性能很重要。缺失特征数据将影响训练结果的好坏。

Sklearn/libsvm中的SVM都有什么参数可以调节？

Sklearn

class sklearn.svm.SVC(
            C=1.0, 
            kernel='rbf', 
            degree=3, 
            gamma='auto', 
            coef0=0.0, 
            shrinking=True, 
            probability=False, 
            tol=0.001, 
            cache_size=200, 
            class_weight=None, 
            verbose=False, 
            max_iter=-1, 
            decision_function_shape='ovr', 
            random_state=None)

C : float, optional (default=1.0)

    误差项的惩罚参数，一般取值为10的n次幂，如10的-5次幂，10的-4次幂......10的0次幂，10，1000,1000，在python中可以使用pow（10，n） n=-5~inf
    C越大，相当于惩罚松弛变量，希望松弛变量接近0，即对误分类的惩罚增大，趋向于对训练集全分对的情况，这样会出现训练集测试时准确率很高，但泛化能力弱。
    C值小，对误分类的惩罚减小，容错能力增强，泛化能力较强。

kernel : string, optional (default=’rbf’)

    svc中指定的kernel类型。
    可以是： ‘linear’, ‘poly’, ‘rbf’, ‘sigmoid’, ‘precomputed’ 或者自己指定。 默认使用‘rbf’ 。

degree : int, optional (default=3)

    当指定kernel为 ‘poly’时，表示选择的多项式的最高次数，默认为三次多项式。
    若指定kernel不是‘poly’,则忽略，即该参数只对‘poly’有作用。

gamma : float, optional (default=’auto’)

    当kernel为‘rbf’, ‘poly’或‘sigmoid’时的kernel系数。
    如果不设置，默认为 ‘auto’ ，此时，kernel系数设置为：1/n_features

coef0 : float, optional (default=0.0)

    kernel函数的常数项。
    只有在 kernel为‘poly’或‘sigmoid’时有效，默认为0。

probability : boolean, optional (default=False)
    是否采用概率估计。
    必须在fit（）方法前使用，该方法的使用会降低运算速度，默认为False。

shrinking : boolean, optional (default=True)

    如果能预知哪些变量对应着支持向量，则只要在这些样本上训练就够了，其他样本可不予考虑，这不影响训练结果，但降低了问题的规模并有助于迅速求解。进一步，如果能预知哪些变量在边界上(即a=C)，则这些变量可保持不动，只对其他变量进行优化，从而使问题的规模更小，训练时间大大降低。这就是Shrinking技术。
    Shrinking技术基于这样一个事实：支持向量只占训练样本的少部分，并且大多数支持向量的拉格朗日乘子等于C。

tol : float, optional (default=1e-3)

    误差项达到指定值时则停止训练，默认为1e-3，即0.001。

cache_size : float, optional

    指定内核缓存的大小，默认为200M。

class_weight : {dict, ‘balanced’}, optional

    权重设置。如果不设置，则默认所有类权重值相同。
    以字典形式传入。
    ##（这个具体使用还不是很清楚）##
    Set the parameter C of class i to class_weight[i]*C for SVC. If not given, all classes are supposed to have weight one. The “balanced” mode uses the values of y to automatically adjust weights inversely proportional to class frequencies in the input data as n_samples / (n_classes * np.bincount(y))

verbose : bool, default: False

    是否启用详细输出。
    多线程时可能不会如预期的那样工作。默认为False。

max_iter : int, optional (default=-1)

    强制设置最大迭代次数。
    默认设置为-1，表示无穷大迭代次数。
    Hard limit on iterations within solver, or -1 for no limit.

decision_function_shape : ‘ovo’, ‘ovr’, default=’ovr’

    ##这个用法也不是很理解##
    Whether to return a one-vs-rest (‘ovr’) decision function of shape (n_samples, n_classes) as all other classifiers, or the original one-vs-one (‘ovo’) decision function of libsvm which has shape (n_samples, n_classes * (n_classes - 1) / 2).

    Changed in version 0.19: decision_function_shape is ‘ovr’ by default.

    New in version 0.17: decision_function_shape=’ovr’ is recommended.

    Changed in version 0.17: Deprecated decision_function_shape=’ovo’ and None.

random_state : int, RandomState instance or None, optional (default=None)

    伪随机数使用数据。

主要调节的参数有：C、kernel、degree、gamma、coef0。
SVC函数的训练时间是随训练样本平方级增长，所以不适合超过10000的样本。

libsvm

待补充

SVM如何处理多分类问题？

一般有两种做法：一种是直接法，直接在目标函数上修改，将多个分类面的参数求解合并到一个最优化问题里面。看似简单但是计算量却非常的大。

另外一种做法是间接法：对训练器进行组合。其中比较典型的有一对一，和一对多。

一对多，就是对每个类都训练出一个分类器，由svm是二分类，所以将此而分类器的两类设定为目标类为一类，其余类为另外一类。这样针对k个类可以训练出k个分类器，当有一个新的样本来的时候，用这k个分类器来测试，那个分类器的概率高，那么这个样本就属于哪一类。这种方法效果不太好，bias比较高。

一对一法（one-vs-one），针对任意两个类训练出一个分类器，如果有k类，一共训练出C(2,k) 个分类器，这样当有一个新的样本要来的时候，用这C(2,k) 个分类器来测试，每当被判定属于某一类的时候，该类就加一，最后票数最多的类别被认定为该样本的类。

小胖蹄儿

关注

0
点赞
踩
12

收藏

觉得还不错? 一键收藏
0
评论
SVM面试题

应聘数据挖掘工程师或机器学习工程师，面试官经常会考量面试者对SVM的理解。以下是我自己在准备面试过程中，基于个人理解，总结的一些SVM面试常考问题（想到会再更新），如有错漏，请批评指正。（大神请忽视）转载请注明出处：blog.csdn.net/szlcw1SVM的原理是什么？SVM是一种二类分类模型。它的基本模型是在特征空间中寻找间隔最大化的分离超平面的线性分类器。（间隔最大是...
复制链接

扫一扫