学习笔记-3-SVM-10-SVR

细节内容请关注微信公众号：运筹优化与数据科学

ID: pomelo_tree_opt

---

outline

1. Linear regression

2. Support vector regression

3. SVR vs. SVM

4. Linear SVR

5. Kernel SVR

------------------------------------

1. Linear regression

OR里最常使用的两件东西（OR的两样利器）

• 从优化的观念来看是，linear programming

• 从stochastic或statistic的观念来看，最常用的就是regression.

Linear regression: 

A model that assumes a linear relationshipbetween the input variables (x) and the single output variable (y) such that y can be calculated from a linear combination of the input variables (x).

=====================

2. Support Vector Regression

Basic idea: 

Find a hyperplane centering around the data by boxing as many data points as possible in a given tube around the hyperplane.

其实就是找个tube，来把尽可能多的点都包含进去

• Tube里的点越多越好，外面的点越少越好

• 外面的点距离边界的距离越短越好（这个距离可以是总距离，也可以是平均距离）

这根管子就叫做epsilon-tube

=============================

3. SVR vs SVM

比如左边这个linear regression的图，横坐标是x，纵坐标是y，这个其实x是1维的。

而右边的linear classification的图，x是二维的。要是再加上颜色的话，是3维的info.

=============================

4. Linear soft SVR

-------------------------------

Dual model的目标函数第一个term，是个左乘右乘的东西，中间是个数，所以是二次的。而且因为两边是对称的，所以是convex的。其他的term都是linear的。2N个变量约束，像box一样，有上下界。1个等式约束。所以总体上是个convex quadratic programing.

--------------------

Dual与n无关，n其实是被内积操作给吸收掉了。

所以当n很大时，dual model就很占便宜。现实例子，n很容易很大，比如信用卡公司，会收集很多资料，就是很多维度，全景画像什么的，数据经常被abuse。

------------------

相比之下，primal model是n+1个自由变量，N个非负变量，2N个线性约束

整体上primal model既与data-point有关，又与data的dimension也有关。

Dual model比primal model而言，是占优势的。

------------------------------------------

=============================

5. Kernel soft SVR

From linear to nonlinear