============Optimization Objective===============
1.从logistic regression推演而来
2.粉红色的线为SVM的话费函数(COST)曲线
.
3.对SVM的COST FUNCTION的形式化定义
4.进一步解释该函数
5.进一步再解释
=================Large Margin Classifier===============
1.注意这个SVM和LOGISTIC REGRESSION 不同
2.当C很大时,求解该方程组,可得决策曲线?
3.SVM是黑线
4.C大时,是黑线
==============数学角度解析为什么SVM 能形成 Large Margin Classifier==========
1.向量内积与映射
2.SVM的目标优化函数(C很大时候,就只剩下最后的项)
3.详细解释了为何MARGIN越大,目标函数就可以越小
4.小题目
分割线为X=0
这时所有数据集中的数据到θ上的投影最小值为2,换言之,想满足
对正样本p·||θ||>=1,
对负样本p·||θ||<=-1,
只需要
对正样本2·||θ||>=1,
对负样本(-2)·||θ||<=-1,
因此需要
||
θ
||>=1/2,本着令cost function最小的原则,我们可知||θ||=1/2.
=============SVM Kernel 1 —— Gaussian Kernel=========
1.有没有更好的特征来代替多项式?
2.使用X与L之间的相似度作为新的特征。其函数为高斯函数,即高斯核。
3.X与L越像,则新的特征Fi越接近1,反之越接近0
4.X与L接近情况的值变化
5.有了L,则F可计算。则结合θ值可进行分类。
=============SVM 中 Gaussian Kernel 的使用========
1.L的选择接近X?
2.重新定义COST函数?
3.参数调整
=============
SVM 的 使用与选择==================
1.线性核与高斯核
2.注意FEATURE SCALING
3.多种核函数--满足MERCER理论
4.CROSS VALIDATION的结果最重要
5.多分类问题
6.SVM与Logistic regression的选择