首先,svm最简单的形式就是解决二类线性可分的问题。其优势就是可以将核函数很好的加进来,解决高维可分的问题。缺点是相比于lr,不能提供概率。并且没有lasso这种特征选择的好性质。svm考虑到每一个样本。
不论原问题是否是凸问题,对偶问题都是凹问题。
在推导的的过程中,因为原问题是凸问题,满足KKT条件的点也是原,对偶问题的最优解。原问题的最优解即是对偶问题的最优解。
因此,我们就是在解决一个max min的问题。对于min_w,b,我们使用对参数求导的方式得到只关于拉格朗日乘子的式子,再用SMO求max。
由于 强对偶成立,则原问题的最优解和 对偶问题的最优解满足 KKT 条件(有一条就是通过求导证明的,L极小值,对x求导为0;另一个就是互补松驰性)。因此,可以得到 支持向量。
核函数:
如果原始空间是有限维,即属性数有限,那么一定存在一个高维特征空间使样本可分。
高维空间做内积,相当于原始空间做变换。对称函数所对应的核矩阵半正定,就可以作为核函数使用。
软间隔和正则化:结构风险和经验风险
先验 和 似然的估计。先验主要是使用频率来估计;
极大似然估计:似然是假设某种分布,用极大似然对参数进行估计。 明明是想估计参数的,但是解决时是用在这组参数下,样本值出现的概率
朴素贝叶斯:假设属性之间独立。然后使用连乘的方式,注意不存在的样本要做平滑化处理
EM算法:
E步:估计当前参数下,隐变量分布
M步:更新参数,最大化这个分布
dsdsf