基本的回归模型

流程

• 明确项目任务：回归/分类
• 收集数据集并选择合适的特征。
• 选择度量模型性能的指标。
• 选择具体的模型并进行训练以优化模型。
• 评估模型的性能并调参。

1、收集数据集并选择合适的特征

在数据集上我们使用我们比较熟悉的Boston房价数据集，原因是：

• 第一个，我们通过这些简单的数据集快速让我们上手sklearn，以及掌握sklearn的相关操作。
• 第二个，我们用简单的数据集能更加清晰地介绍机器学习的相关模型，避免在处理数据上花费较大的精力。

各个特征的相关解释：

• CRIM：各城镇的人均犯罪率
• ZN：规划地段超过25,000平方英尺的住宅用地比例
• INDUS：城镇非零售商业用地比例
• CHAS：是否在查尔斯河边(=1是)
• NOX：一氧化氮浓度(/千万分之一)
• RM：每个住宅的平均房间数
• AGE：1940年以前建造的自住房屋的比例
• DIS：到波士顿五个就业中心的加权距离
• RAD：放射状公路的可达性指数
• TAX：全部价值的房产税率(每1万美元)
• PTRATIO：按城镇分配的学生与教师比例
• B：1000(Bk - 0.63)^2其中Bk是每个城镇的黑人比例
• LSTAT：较低地位人口
• Price：房价

from sklearn import datasets
boston = datasets.load_boston()     # 返回一个类似于字典的类
X = boston.data
y = boston.target
features = boston.feature_names
boston_data = pd.DataFrame(X,columns=features)
boston_data["Price"] = y
boston_data.head()

2、选择度量模型性能的指标

• MSE均方误差：$\text{MSE}(y,\hat{y})=\frac{1}{n_{\text{samples}}}{\sum }_{i=0}^{n_{\text{samples}}-1}(y_i-{\hat{y}}_i{)}^2.$
• MAE平均绝对误差:$\text{MAE}(y,\hat{y})=\frac{1}{n_{\text{samples}}}{\sum }_{i=0}^{n_{\text{samples}}-1}\left|y_i-{\hat{y}}_i\right|$
• $R^2$决定系数：$R^2(y,\hat{y})=1-\frac{{\sum }_{i=1}^n(y_i-{\hat{y}}_i{)}^2}{{\sum }_{i=1}^n(y_i-\bar{y}{)}^2}$
• 解释方差得分: e x p l a i n e d _ v a r i a n c e ( y , y ^ ) = 1 − V a r { y − y ^ } V a r { y } explained\_{}variance(y, \hat{y}) = 1 - \frac{Var\{ y - \hat{y}\}}{Var\{y\}} explained_variance(y,y^​)=1−Var{y}Var{y−y^​}​

https://scikit-learn.org/stable/modules/model_evaluation.html#regression-metrics

在这个案例中，我们使用MSE均方误差为模型的性能度量指标。

3、选择具体的模型并进行训练

假设：数据集 D = { ( x 1 , y 1 ) , . . . , ( x N , y N ) } D = \{(x_1,y_1),...,(x_N,y_N) \} D={(x1​,y1​),...,(xN​,yN​)}，$x_i\in R^p,y_i\in R,i=1,2,...,N$，$X=(x_1,x_2,...,x_N{)}^T,Y=(y_1,y_2,...,y_N{)}^T$

¹假设X和Y之间存在线性关系，模型的具体形式为$\hat{y}=f(w)=w^{T}x$

Tips：简单来说，就是所有的样本点到回归得到的曲线，或者平面垂直总距离最短

(a) 最小二乘估计：
我们需要衡量真实值$y_i$与线性回归模型的预测值$w^T{x}_i$之间的差距，在这里我们和使用二范数的平方和L(w)来描述这种差距，即:
$$L(w)=\sum _{i=1}^N||w^T{x}_i-y_i|{|}_2^2=\sum _{i=1}^N(w^T{x}_i-y_i{)}^2=(w^T{X}^T-Y^T)(w^T{X}^T-Y^T{)}^T=w^T{X}^{T}Xw-2w^T{X}^{T}Y+Y{Y}^T$$
因此，我们需要找到使得L(w)最小时对应的参数w，即:

$\hat{w}=argminL(w)$

为了达到求解最小化L(w)问题，我们应用高等数学的知识，使用求导来解决这个问题：

$\frac{\partial L(w)}{\partial w}=2X^{T}Xw-2X^{T}Y=0$,

因此：$\hat{w}=(X^{T}X{)}^{-1}{X}^{T}Y$

最小二乘法推导

(b) 几何解释：

在线性代数中，我们知道两个向量a和b相互垂直可以得出：

$<a,b>=a\cdot b=a^{T}b=0$,

而平面X的法向量为Y-Xw，与平面X互相垂直，因此：$X^T(Y-Xw)=0$，即：$w=(X^{T}X{)}^{-1}{X}^{T}Y$

（c）概率视角：
假设噪声$ϵ\backsim N(0,{\sigma }^2),y=f(w)+ϵ=w^{T}x+ϵ$，因此：$y|x_i,wN(w^{T}x,{\sigma }^2)$
我们使用极大似然估计MLE对参数w进行估计：
$$\begin{gathered} L(w)=logP(Y|X;w)=log{\prod }_{i=1}^{N}P(y_i|x_i;w)=\sum _{i=1}^{N}logP(y_i|x_i;w) \\ =\sum _{i=1}^{N}log(\frac{1}{\sqrt{2\pi \sigma }}exp(-\frac{(y_i-w^T{x}_i{)}^2}{2{\sigma }^2}))=\sum _{i=1}^N[log(\frac{1}{\sqrt{2\pi }\sigma })-\frac{1}{2{\sigma }^2}(y_i-w^T{x}_i{)}^2] \\ argma{x}_{w}L(w)=argmi{n}_w[l(w)=\sum _{i=1}^N(y_i-w^T{x}_i{)}^2] \end{gathered}$$

因此：线性回归的最小二乘估计<==>噪声$ϵ\backsim N(0,{\sigma }^2)$的极大似然估计

下面，我们使用sklearn的线性回归实例来演示：
https://scikit-learn.org/stable/modules/generated/sklearn.linear_model.LinearRegression.html#sklearn.linear_model.LinearRegression

from sklearn import linear_model      # 引入线性回归方法
lin_reg = linear_model.LinearRegression()       # 创建线性回归的类
lin_reg.fit(X,y)        # 输入特征X和因变量y进行训练
print("模型系数：",lin_reg.coef_)             # 输出模型的系数
print("模型得分：",lin_reg.score(X,y))    # 输出模型的决定系数R^2

• 线性回归的推广
  在线性回归中，我们假设因变量与特征之间的关系是线性关系，这样的假设使得模型很简单，但是缺点也是显然的，那就是当数据存在非线性关系时，我们使用线性回归模型进行预测会导致预测性能极其低下，因为模型的形式本身是线性的，无法表达数据中的非线性关系。我们一个很自然的想法就是去推广线性回归模型，使得推广后的模型更能表达非线性的关系。

Tips：简单的线性回归可以通过对数变换来对曲线进行弯曲，使其可以拟合曲线：

变形	变形
基础形式	$y=w_{1}x+w_0+{ϵ}_i$
自变量取对数	$y=w_{1}lnx+w_0+{ϵ}_i$
求平方	$y=w_1{x}^2+w_0+{ϵ}_i$
……	……

在一定的取值范围 $x\in (x_1,x_2)$ 内，可以近似的拟合出我们想要的效果，

Tips：有些时候，我们探寻的不止是1个自变量（特征）对因变量的影响，而是多个特征值的影响，如：

$$y=w_1{x}_1+w_2{x}_2+\dots \dots +w_n{x}_n+w_0+{ϵ}_i\text{\hspace{1em}(2)}$$

(a) 多项式回归：
再进一步，为了体现因变量和特征的非线性关系，将标准的线性回归模型：
$$y_i=w_0+w_1{x}_i+{ϵ}_i\text{\hspace{1em}(1)}$$
换成一个多项式函数：
$$y_i=w_0+w_1{x}_i+w_2{x}_i^2+...+w_d{x}_i^d+ϵ\text{\hspace{1em}(3)}$$

对于多项式的阶数d不能取过大，一般不大于3或者4，因为d越大，多项式曲线就会越光滑，在X的边界处有异常的波动。（图中的边界处的4阶多项式拟合曲线的置信区间(虚线表示置信区间)明显增大，预测效果的稳定性下降。）

Tips：需要注意添加非线性项后，可能会出现模型内部的自相关性

不论简单线性回归、多项式回归等都是全局性的结构，如果不考虑全局，而是从局部入手，就如 上文所讲，$x\in (x_1,x_2)$ 时，能得到较好的拟合效果，但是离开这个区间，我们的模型就不再适用

正如分段函数一样，我们是否也可以在不同的区间用不同的回归模型，获得拟合曲线，

现在我们对样本空间 $X$ 进行分组，假设把 $X$分为k段 ，用每段变量分别去拟合常量I

$C_1(X)=I_1(X<c_1)$
$C_2(X)=I_1(c1<X<c_2)$
$\dots \dots$

$C_k(X)=I_1(c_{k-1}<X<c_k)$

• 这些变量在极端条件下（值取1,0）就是我们所说的哑变量

然后，我们再对这k+1个变量进行拟合，得到：
$$y_i=w_{1}C(x_i)+w_{2}C(x_i)+\dots \dots +w_{k}C(x_i)+{ϵ}_i$$

(b)广义可加模型(GAM)：

再进一步，每个分段我们拟合的不再单纯是常数，也可以拟合多项式或者非线性函数

广义可加模型GAM实际上是线性模型推广至非线性模型的一个框架，在这个框架中，每一个变量都用一个非线性函数来代替，但是模型本身保持整体可加性。不管各个分项的交互作用，只把最后各个变量的值相加GAM模型不仅仅可以用在线性回归的推广，还可以将线性分类模型进行推广。具体的推广形式是：

标准的线性回归模型：
$$y_i=w_0+w_1{x}_{i1}+...+w_p{x}_{ip}+{ϵ}_i$$
GAM模型框架：
$$y_i=w_0+\sum _{j=1}^p{f}_j(x_{ij})+{ϵ}_i$$

但与此同时，不同分段因为方程式不同，肯定不会光滑衔接，在节点处可能出现跳跃，如果想要不同分段的函数能够光滑衔接，我们就需要对它进行一些约束，所以引入惩罚项

GAM模型的优点与不足：
- 优点：简单容易操作，能够很自然地推广线性回归模型至非线性模型，使得模型的预测精度有所上升；由于模型本身是可加的，因此GAM还是能像线性回归模型一样把其他因素控制不变的情况下单独对某个变量进行推断，极大地保留了线性回归的易于推断的性质。
- 缺点：GAM模型会经常忽略一些有意义的交互作用，比如某两个特征共同影响因变量，不过GAM还是能像线性回归一样加入交互项$x^{(i)}\times x^{(j)}$的形式进行建模；但是GAM模型本质上还是一个可加模型，如果我们能摆脱可加性模型形式，可能还会提升模型预测精度，详情请看后面的算法。

(a) 多项式回归实例介绍：
https://scikit-learn.org/stable/modules/generated/sklearn.preprocessing.PolynomialFeatures.html?highlight=poly#sklearn.preprocessing.PolynomialFeatures

sklearn.preprocessing.PolynomialFeatures(degree=2, *, interaction_only=False, include_bias=True, order=‘C’):

from sklearn.preprocessing import PolynomialFeatures
X_arr = np.arange(6).reshape(3, 2)
print("原始X为：\n",X_arr)

poly = PolynomialFeatures(2)
print("2次转化X：\n",poly.fit_transform(X_arr))

poly = PolynomialFeatures(interaction_only=True)
print("2次转化X：\n",poly.fit_transform(X_arr))

• 参数：
  degree：特征转换的阶数。
  interaction_onlyboolean：是否只包含交互项，默认False 。
  include_bias：是否包含截距项，默认True。
  order：str in {‘C’, ‘F’}, default ‘C’，输出数组的顺序。
  特征转换其实就是一个为基础回归模型增加特征数的过程，特征由基础特征和基础特征的交互项产生，如果我有a,b,两个基础特征，当特征转换阶数为2，那么特征转换后就有$1,a,b,ab,a^2,b^2$,分别产生于:
  $$a^0\ast b^0,a^0\ast b^1,a^1\ast b^0,a^1\ast b^1,a^2\ast b^0,a^0\ast b^2$$
  

(b) GAM模型实例介绍：

安装pygam：pip install pygam
https://github.com/dswah/pyGAM/blob/master/doc/source/notebooks/quick_start.ipynb

from pygam import LinearGAM
gam = LinearGAM().fit(boston_data[boston.feature_names], y)
gam.summary()

单纯的统计量并不能直观的看出数据之间的依赖关系，我们还可以通过对数据之间进行绘图，通过图像上的直观结果辅助我们进行后续的调整

# 数据还是波士顿房价数据，之前已经导入，这里就不在代码里重新导入了
from matplotlib import pyplot as plt
fig,axs = plt.subplots(1,len(features[0:6]))
titles = features

for i,ax in enumerate(axs):
    XX = gam.generate_X_grid(term=i)
    ax.plot(XX[:, i], gam.partial_dependence(term=i, X=XX))
    ax.plot(XX[:, i], gam.partial_dependence(term=i, X=XX,   width=.95)[1], c='r', ls='--')
    ax.set_title(titles[i])
plt.show()

可以看出，部分变量和目标值有很强的非线性相关性，图4又与目标值表现出简单的线性关系，通过二者在模型里的单纯相加，我们可以结合二者得出一个更具有概括性的模型，但是不同的函数在结合点不会像同一常量那样自然光滑，可能会出现跳跃，这就需要对

• 模型设置约束条件

• 对误差项进行惩罚

  • 回归树：

基于树的回归方法主要是依据分层和分割的方式将特征空间划分为一系列简单的区域。

对某个给定的待预测的自变量，用他所属区域中训练集的平均数或者众数对其进行预测。

由于划分特征空间的分裂规则可以用树的形式进行概括，因此这类方法称为决策树方法。决策树由结点(node)和有向边(diredcted edge)组成。结点有两种类型：内部结点(internal node)和叶结点(leaf node)。内部结点表示一个特征或属性，叶结点表示一个类别或者某个值。区域$R_1,R_2$等称为叶节点，将特征空间分开的点$t_1,t_2$为内部节点。

建立回归树的过程大致可以分为以下两步：

• 将自变量的特征空间(即$x^{(1)},x^{(2)},x^{(3)},...,x^{(p)}$)的可能取值构成的集合分割成J个互不重叠的区域$R_1,R_2,...,R_j$。

• 对落入区域$R_j$的每个观测值作相同的预测，预测值等于$R_j$上训练集的因变量的简单算术平均。具体来说，就是：

  • a. 选择最优切分特征j以及该特征上的最优点s：
    遍历特征j以及固定j后遍历切分点s，选择使得下式最小的(j,s) $$mi{n}_{j,s}[mi{n}_{c_1}\sum _{x_i\in R_1(j,s)}(y_i-c_1{)}^2+mi{n}_{c_2}\sum _{x_i\in R_2(j,s)}(y_i-c_2{)}^2]$$
    b. 按照(j,s)分裂特征空间：

      R 1 ( j , s ) = { x ∣ x j ≤ s } \ R_1(j,s) = \{x|x^{j} \le s \}  R1​(j,s)={x∣xj≤s}

      R 2 ( j , s ) = { x ∣ x j > s } \ R_2(j,s) = \{x|x^{j} > s \}  R2​(j,s)={x∣xj>s},

    ${\hat{c}}_m=\frac{1}{N_m}\sum _{x\in R_m(j,s)}{y}_i,m=1,2$
    c. 继续调用步骤1，2直到满足停止条件，就是每个区域的样本数小于等于5。
    d. 将特征空间划分为J个不同的区域，生成回归树：$$f(x)=\sum _{m=1}^J{\hat{c}}_{m}I(x\in R_m)$$
    如以下生成的关于运动员在棒球大联盟数据的回归树：
    

  回归树与线性模型的比较：
  线性模型的模型形式与树模型的模型形式有着本质的区别，具体而言，线性回归对模型形式做了如下假定：$f(x)=w_0+\sum _{j=1}^p{w}_j{x}^{(j)}$，而回归树则是$f(x)=\sum _{m=1}^J{\hat{c}}_{m}I(x\in R_m)$。那问题来了，哪种模型更优呢？这个要视具体情况而言，如果特征变量与因变量的关系能很好的用线性关系来表达，那么线性回归通常有着不错的预测效果，拟合效果则优于不能揭示线性结构的回归树。反之，如果特征变量与因变量的关系呈现高度复杂的非线性，那么树方法比传统方法更优。
  
  树模型的优缺点：

  • 树模型的解释性强，在解释性方面可能比线性回归还要方便。
  • 树模型更接近人的决策方式。
  • 树模型可以用图来表示，非专业人士也可以轻松解读。
  • 树模型可以直接做定性的特征而不需要像线性回归一样哑元化。
  • 树模型能很好处理缺失值和异常值，对异常值不敏感，但是这个对线性模型来说却是致命的。
  • 树模型的预测准确性一般无法达到其他回归模型的水平，但是改进的方法很多。

sklearn使用回归树的实例：
https://scikit-learn.org/stable/modules/generated/sklearn.tree.DecisionTreeRegressor.html?highlight=tree#sklearn.tree.DecisionTreeRegressor
sklearn.tree.DecisionTreeRegressor(*, criterion=‘mse’, splitter=‘best’, max_depth=None, min_samples_split=2, min_samples_leaf=1, min_weight_fraction_leaf=0.0, max_features=None, random_state=None, max_leaf_nodes=None, min_impurity_decrease=0.0, min_impurity_split=None, presort=‘deprecated’, ccp_alpha=0.0）

• 参数：(列举几个重要的，常用的，详情请看上面的官网)
  criterion：{“ mse”，“ friedman_mse”，“ mae”}，默认=“ mse”。衡量分割标准的函数 。
  splitter：{“best”, “random”}, default=”best”。分割方式。
  max_depth：树的最大深度。
  min_samples_split：拆分内部节点所需的最少样本数，默认是2。
  min_samples_leaf：在叶节点处需要的最小样本数。默认是1。
  min_weight_fraction_leaf：在所有叶节点处（所有输入样本）的权重总和中的最小加权分数。如果未提供sample_weight，则样本的权重相等。默认是0。

from sklearn.tree import DecisionTreeRegressor    
reg_tree = DecisionTreeRegressor(criterion = "mse",min_samples_leaf = 5)
reg_tree.fit(X,y)
reg_tree.score(X,y)   

决策树的本质就是一堆if-else的组合

• 支持向量机回归(SVR)
  在介绍支持向量回归SVR之前，我们先来了解下约束优化的相关知识：

  • 约束优化问题§：
    $$\begin{gathered} minf(x) \\ s.t.g_i(x)\le 0,i=1,2,...,m \\ {h}_j(x)=0,j=1,2,...,l \end{gathered}$$
    我们假设$x^{\ast }$为满足以上条件的局部最优解，$p^{\ast }=f(x^{\ast })$，我们的目的就是要找到$x^{\ast }$与$p^{\ast }$，满足不等式和等式约束的x集合成为可行域，记作S。

• KKT条件(最优解的一阶必要条件)
  因为KKT条件是最优化的相关内容，在本次开源学习中并不是重点，因此在这里我用一个更加简单的例子说明KKT条件，严格的证明请参见凸优化相关书籍。
  在这个例子中，我们考虑：($x^{\ast }$为我们的最优解)
  $$\begin{gathered} minf(x) \\ s.t.g_1(x)\le 0,x\in R^n \\ {g}_2(x)\le 0 \\ {g}_3(x)\le 0 \end{gathered}$$
  
  我们可以看到：$-\nabla f(x^{\ast })$可以由$\nabla g_1(x^{\ast })$与$\nabla g_2(x^{\ast })$线性表出，因此有：$-\nabla f(x^{\ast })={\lambda }_1\nabla g_1(x^{\ast })+{\lambda }_2\nabla g_2(x^{\ast })$其中${\lambda }_1,{\lambda }_2\ge 0$，即：
  $$\nabla f(x^{\ast })+{\lambda }_1\nabla g_1(x^{\ast })+{\lambda }_2\nabla g_2(x^{\ast })=0,其中{\lambda }_1,{\lambda }_2\ge 0$$
  我们把没有起作用的约束$g_3(x)$也放到式子里面去，目的也就是为了书写方便，即要求：
  $$\nabla f(x^{\ast })+{\lambda }_1\nabla g_1(x^{\ast })+{\lambda }_2\nabla g_2(x^{\ast })+{\lambda }_3\nabla g_3(x^{\ast })=0,$$
  $其中{\lambda }_1,{\lambda }_2\ge 0,{\lambda }_3=0由于点x^{\ast }位于方程g_1(x)=0与g_2(x)=0上，因此：$
  $${\lambda }_1{g}_1(x^{\ast })=0,{\lambda }_2{g}_2(x^{\ast })=0,{\lambda }_3{g}_3(x^{\ast })=0$$

因此，KKT条件就是：假设$x^{\ast }$为最优化问题§的局部最优解，且$x^{\ast }$ 在某个适当的条件下 ,有：
$$\begin{gathered} \nabla f(x^{\ast })+\sum _{i=1}^m{\lambda }_i\nabla g(x^{\ast })+\sum _{j=1}^l{\mu }_j\nabla h_j(x^{\ast })=0(对偶条件) \\ {\lambda }_i\ge 0,i=1,2,...,m(对偶条件) \\ {g}_i(x^{\ast })\le 0(原问题条件) \\ {h}_j(x^{\ast })=0(原问题条件) \\ {\lambda }_{i}g(x^{\ast })=0(互补松弛定理) \end{gathered}$$

• 对偶理论：
  为什么要引入对偶问题呢？是因为原问题与对偶问题就像是一个问题两个角度去看，如利润最大与成本最低等。有时侯原问题上难以解决，但是在对偶问题上就会变得很简单。再者，任何一个原问题在变成对偶问题后都会变成一个凸优化的问题，这点我们后面会有介绍。下面我们来引入对偶问题：
  首先，我们的原问题§是：
  $$\begin{gathered} minf(x) \\ s.t.g_i(x)\le 0,i=1,2,...,m \\ {h}_j(x)=0,j=1,2,...,l \end{gathered}$$
  引入拉格朗日函数：$$L(x,\lambda ,\mu )=f(x)+\sum _{i=1}^m{\lambda }_i{g}_i(x)+\sum _{j=1}^l{\mu }_j{h}_j(x)$$
  拉格朗日对偶函数：
  d ( λ , μ ) = m i n x ∈ X { f ( x ) + ∑ i = 1 m λ i g i ( x ) + ∑ j = 1 l μ j h j ( x ) } d(\lambda,\mu) = min_{x\in X}\{ f(x) + \sum\limits_{i=1}^{m}\lambda_i g_i(x) +\sum\limits_{j=1}^{l}\mu_j h_j(x)\} d(λ,μ)=minx∈X​{f(x)+i=1∑m​λi​gi​(x)+j=1∑l​μj​hj​(x)}
  $其中X为满足条件的x$
  变 量 ≤ m i n x ∈ S { f ( x ) + ∑ i = 1 m λ i g i ( x ) + ∑ j = 1 l μ j h j ( x ) } 变量\le min_{x\in S}\{ f(x) + \sum\limits_{i=1}^{m}\lambda_i g_i(x) + \sum\limits_{j=1}^{l}\mu_j h_j(x) \} 变量≤minx∈S​{f(x)+i=1∑m​λi​gi​(x)+j=1∑l​μj​hj​(x)}
  $由于$:$$g_i(x)\le 0,h_j(x)=0,{\lambda }_i\ge 0$$
  $其中$ S 为 可 行 域 b ≤ m i n x ∈ S { f ( x ) } S为可行域b\le min_{x\in S}\{f(x) \} S为可行域b≤minx∈S​{f(x)}
  $因此：拉格朗日对偶函数d(\lambda ,\mu )是原问题最优解的函数值p^{\ast }的下界$，
  $即每个不同的\lambda 与\mu 确定的d(\lambda ,\mu )都是p^{\ast }的下界,但是我们希望下界越大越好,$
  $因为越大就更能接近真实的p^{\ast }。因此拉格朗日对偶问题(D)转化为$：
  $$\begin{gathered} ma{x}_{\lambda ,\mu }d(\lambda ,\mu ) \\ s.t.{\lambda }_i\ge 0,i=1,2,...,m \end{gathered}$$
  也就是：
  $$ma{x}_{\lambda \ge 0,\mu }mi{n}_{x\in S}L(x,\lambda ,\mu )$$
  我们可以观察到，对偶问题是关于$\lambda$和$\mu$的线性函数，因此对偶问题是一个凸优化问题，凸优化问题在最优化理论较为简单。
  弱对偶定理：对偶问题(D)的最优解$D^{\ast }$一定小于原问题最优解$P^{\ast }$，这点在刚刚的讨论得到了充分的证明，一定成立。
  强对偶定理：对偶问题(D)的最优解$D^{\ast }$在一定的条件下等于原问题最优解$P^{\ast }$，条件非常多样化且不是唯一的，也就是说这是个开放性的问题，在这里我给出一个最简单的条件，即：$f(x)$与$g_i(x)$为凸函数，$h_j(x)$为线性函数，X是凸集，$x^{\ast }$满足KKT条件，那么$D^{\ast }=P^{\ast }$。

sklearn中使用SVR实例：

https://scikit-learn.org/stable/modules/generated/sklearn.svm.SVR.html?highlight=svr#sklearn.svm.SVR

sklearn.svm.SVR(*, kernel=‘rbf’, degree=3, gamma=‘scale’, coef0=0.0, tol=0.001, C=1.0, epsilon=0.1, shrinking=True, cache_size=200, verbose=False, max_iter=-1)

• 参数：
  kernel：核函数，{‘linear’, ‘poly’, ‘rbf’, ‘sigmoid’, ‘precomputed’}, 默认=’rbf’。(后面会详细介绍)
  degree：多项式核函数的阶数。默认 = 3。
  C：正则化参数，默认=1.0。(后面会详细介绍)
  epsilon：SVR模型允许的不计算误差的邻域大小。默认0.1。

from sklearn.svm import SVR
from sklearn.preprocessing import StandardScaler     # 标准化数据
from sklearn.pipeline import make_pipeline   # 使用管道，把预处理和模型形成一个流程

reg_svr = make_pipeline(StandardScaler(), SVR(C=1.0, epsilon=0.2))
reg_svr.fit(X, y)
reg_svr.score(X,y)

---

1. $W^T$:向量的转置 ↩︎