2021-07-14

---

前言

机器学习的一个重要的目标就是利用数学模型来理解数据，发现数据中的规律，用作数据的分析和预测。数据通常由一组向量组成，这组向量中的每个向量都是一个样本，我们用$x_i$来表示一个样本，其中$i=1,2,3,...,N$,共N个样本，每个样本$x_i=(x_{i1},x_{i2},...,x_{ip},y_i)$共p+1个维度，前p个维度的每个维度我们称为一个特征，最后一个维度$y_i$我们称为因变量(响应变量)。特征用来描述影响因变量的因素，如：我们要探寻身高是否会影响体重的关系的时候，身高就是一个特征，体重就是一个因变量。通常在一个数据表dataframe里面，一行表示一个样本$x_i$，一列表示一个特征。
根据数据是否有因变量，机器学习的任务可分为：有监督学习和无监督学习。

• 有监督学习：给定某些特征去估计因变量，即因变量存在的时候，我们称这个机器学习任务为有监督学习。如：我们使用房间面积，房屋所在地区，环境等级等因素去预测某个地区的房价。
• 无监督学习：给定某些特征但不给定因变量，建模的目的是学习数据本身的结构和关系。如：我们给定某电商用户的基本信息和消费记录，通过观察数据中的哪些类型的用户彼此间的行为和属性类似，形成一个客群。注意，我们本身并不知道哪个用户属于哪个客群，即没有给定因变量。

根据因变量的是否连续，有监督学习又分为回归和分类：

• 回归：因变量是连续型变量，如：房价，体重等。
• 分类：因变量是离散型变量，如：是否患癌症，西瓜是好瓜还是坏瓜等。

一、回归和分类

1.回归

我们使用sklearn内置数据集Boston房价数据集。sklearn中所有内置数据集都封装在datasets对象内：
返回的对象有：

• data:特征X的矩阵(ndarray)
• target:因变量的向量(ndarray)
• feature_names:特征名称(ndarray)

# 引入相关科学计算包
import numpy as np
import pandas as pd
import matplotlib.pyplot as plt
%matplotlib inline 
plt.style.use("ggplot")      
import seaborn as sns
from sklearn import datasets
boston = datasets.load_boston()     # 返回一个类似于字典的类
X = boston.data
y = boston.target
features = boston.feature_names
boston_data = pd.DataFrame(X,columns=features)
boston_data["Price"] = y
sns.scatterplot(boston_data['NOX'],boston_data['Price'],color="r",alpha=0.6)
plt.title("Price~NOX")
plt.show()

各个特征的相关解释：
- CRIM：各城镇的人均犯罪率
- ZN：规划地段超过25,000平方英尺的住宅用地比例
- INDUS：城镇非零售商业用地比例
- CHAS：是否在查尔斯河边(=1是)
- NOX：一氧化氮浓度(/千万分之一)
- RM：每个住宅的平均房间数
- AGE：1940年以前建造的自住房屋的比例
- DIS：到波士顿五个就业中心的加权距离
- RAD：放射状公路的可达性指数
- TAX：全部价值的房产税率(每1万美元)
- PTRATIO：按城镇分配的学生与教师比例
- B：1000(Bk - 0.63)^2其中Bk是每个城镇的黑人比例
- LSTAT：较低地位人口
- Price：房价

2.分类

我们来看看大名鼎鼎的iris数据集：

from sklearn import datasets
iris = datasets.load_iris()
X = iris.data
y = iris.target
features = iris.feature_names
iris_data = pd.DataFrame(X,columns=features)
iris_data['target'] = y
marker = ['s','x','o']        #可视化特征
for index,c in enumerate(np.unique(y)):
  plt.scatter(x=iris_data.loc[y==c,"sepal length (cm)"],y=iris_data.loc[y==c,"sepal width (cm)"],alpha=0.8,label=c,marker=marker[c])
plt.xlabel("sepal length (cm)")
plt.ylabel("sepal width (cm)")
plt.legend()
plt.show()

各个特征的相关解释：
- sepal length (cm)：花萼长度(厘米)
- sepal width (cm)：花萼宽度(厘米)
- petal length (cm)：花瓣长度(厘米)
- petal width (cm)：花瓣宽度(厘米)

二、使用sklearn构建完整的机器学习项目流程

一般来说，一个完整的机器学习项目分为以下步骤：

• 明确项目任务：回归/分类
• 收集数据集并选择合适的特征。
• 选择度量模型性能的指标。
• 选择具体的模型并进行训练以优化模型。
• 评估模型的性能并调参。

1.使用sklearn构建完整的回归项目

(1) 收集数据集并选择合适的特征：
(2) 选择度量模型性能的指标：

• MSE均方误差：$\text{MSE}(y,\hat{y})=\frac{1}{n_{\text{samples}}}{\sum }_{i=0}^{n_{\text{samples}}-1}(y_i-{\hat{y}}_i{)}^2.$
• MAE平均绝对误差:$\text{MAE}(y,\hat{y})=\frac{1}{n_{\text{samples}}}{\sum }_{i=0}^{n_{\text{samples}}-1}\left|y_i-{\hat{y}}_i\right|$
• $R^2$决定系数：$R^2(y,\hat{y})=1-\frac{{\sum }_{i=1}^n(y_i-{\hat{y}}_i{)}^2}{{\sum }_{i=1}^n(y_i-\bar{y}{)}^2}$
• 解释方差得分: e x p l a i n e d _ v a r i a n c e ( y , y ^ ) = 1 − V a r { y − y ^ } V a r { y } explained\_{}variance(y, \hat{y}) = 1 - \frac{Var\{ y - \hat{y}\}}{Var\{y\}} explained_variance(y,y^​)=1−Var{y}Var{y−y^​}​

(3) 选择具体的模型并进行训练

• 线性回归模型
  回归分析是一种预测性的建模技术，它研究的是因变量（目标）和自变量（特征）之间的关系。这种技术通常用于预测分析，时间序列模型以及发现变量之间的因果关系。通常使用曲线/线来拟合数据点，目标是使曲线到数据点的距离差异最小。而线性回归就是回归问题中的一种，线性回归假设目标值与特征之间线性相关，即满足一个多元一次方程。通过构建损失函数，来求解损失函数最小时的参数w ：
  假设：数据集 D = { ( x 1 , y 1 ) , . . . , ( x N , y N ) } D = \{(x_1,y_1),...,(x_N,y_N) \} D={(x1​,y1​),...,(xN​,yN​)}，$x_i\in R^p,y_i\in R,i=1,2,...,N$，$X=(x_1,x_2,...,x_N{)}^T,Y=(y_1,y_2,...,y_N{)}^T$
  假设X和Y之间存在线性关系，模型的具体形式为$\hat{y}=f(w)=w^{T}x$

代码如下（示例）：

from sklearn import linear_model      # 引入线性回归方法
lin_reg = linear_model.LinearRegression()       # 创建线性回归的类
lin_reg.fit(X,y)        # 输入特征X和因变量y进行训练
print("模型系数：",lin_reg.coef_)             # 输出模型的系数
print("模型得分：",lin_reg.score(X,y))    # 输出模型的决定系数R^2

• 线性回归的推广
  在线性回归中，我们假设因变量与特征之间的关系是线性关系，这样的假设使得模型很简单，但是缺点也是显然的，那就是当数据存在非线性关系时，我们使用线性回归模型进行预测会导致预测性能极其低下，因为模型的形式本身是线性的，无法表达数据中的非线性关系。我们一个很自然的想法就是去推广线性回归模型，使得推广后的模型更能表达非线性的关系。
  (a) 多项式回归：
  为了体现因变量和特征的非线性关系，一个很自然而然的想法就是将标准的线性回归模型：
  $$y_i=w_0+w_1{x}_i+{ϵ}_i$$
  换成一个多项式函数：
  $$y_i=w_0+w_1{x}_i+w_2{x}_i^2+...+w_d{x}_i^d+ϵ$$
  对于多项式的阶数d不能取过大，一般不大于3或者4，因为d越大，多项式曲线就会越光滑，在X的边界处有异常的波动。
  (b) 广义可加模型(GAM)：
  广义可加模型GAM实际上是线性模型推广至非线性模型的一个框架，在这个框架中，每一个变量都用一个非线性函数来代替，但是模型本身保持整体可加性。GAM模型不仅仅可以用在线性回归的推广，还可以将线性分类模型进行推广。具体的推广形式是：
  标准的线性回归模型：
  $$y_i=w_0+w_1{x}_{i1}+...+w_p{x}_{ip}+{ϵ}_i$$
  GAM模型框架：
  $$y_i=w_0+\sum _{j=1}^p{f}_j(x_{ij})+{ϵ}_i$$
  GAM模型的优点与不足：
  • 优点：简单容易操作，能够很自然地推广线性回归模型至非线性模型，使得模型的预测精度有所上升；由于模型本身是可加的，因此GAM还是能像线性回归模型一样把其他因素控制不变的情况下单独对某个变量进行推断，极大地保留了线性回归的易于推断的性质。
  • 缺点：GAM模型会经常忽略一些有意义的交互作用，比如某两个特征共同影响因变量，不过GAM还是能像线性回归一样加入交互项$x^{(i)}\times x^{(j)}$的形式进行建模；但是GAM模型本质上还是一个可加模型，如果我们能摆脱可加性模型形式，可能还会提升模型预测精度，详情请看后面的算法。

代码如下（示例）：
(a) 多项式回归实例介绍：
sklearn.preprocessing.PolynomialFeatures(degree=2, *, interaction_only=False, include_bias=True, order=‘C’):

• 参数：
  degree：特征转换的阶数。
  interaction_onlyboolean：是否只包含交互项，默认False 。
  include_bias：是否包含截距项，默认True。
  order：str in {‘C’, ‘F’}, default ‘C’，输出数组的顺序。

from sklearn.preprocessing import PolynomialFeatures
X_arr = np.arange(6).reshape(3, 2)
print("原始X为：\n",X_arr)

poly = PolynomialFeatures(2)
print("2次转化X：\n",poly.fit_transform(X_arr))

poly = PolynomialFeatures(interaction_only=True)
print("2次转化X：\n",poly.fit_transform(X_arr))

（b）GAM模型实例介绍：
安装pygam：pip install pygam

from pygam import LinearGAM
gam = LinearGAM().fit(boston_data[boston.feature_names], y)
gam.summary()

• 回归树：
  基于树的回归方法主要是依据分层和分割的方式将特征空间划分为一系列简单的区域。对某个给定的待预测的自变量，用他所属区域中训练集的平均数或者众数对其进行预测。由于划分特征空间的分裂规则可以用树的形式进行概括，因此这类方法称为决策树方法。决策树由结点(node)和有向边(diredcted edge)组成。结点有两种类型：内部结点(internal node)和叶结点(leaf node)。内部结点表示一个特征或属性，叶结点表示一个类别或者某个值。区域$R_1,R_2$等称为叶节点，将特征空间分开的点为内部节点。
  建立回归树的过程大致可以分为以下两步：
  • 将自变量的特征空间(即$x^{(1)},x^{(2)},x^{(3)},...,x^{(p)}$)的可能取值构成的集合分割成J个互不重叠的区域$R_1,R_2,...,R_j$。
  • 对落入区域$R_j$的每个观测值作相同的预测，预测值等于$R_j$上训练集的因变量的简单算术平均。
    具体来说，就是：
    a. 选择最优切分特征j以及该特征上的最优点s：
    遍历特征j以及固定j后遍历切分点s，选择使得下式最小的(j,s) $mi{n}_{j,s}[mi{n}_{c_1}\sum _{x_i\in R_1(j,s)}(y_i-c_1{)}^2+mi{n}_{c_2}\sum _{x_i\in R_2(j,s)}(y_i-c_2{)}^2]$
    b. 按照(j,s)分裂特征空间： R 1 ( j , s ) = { x ∣ x j ≤ s } 和 R 2 ( j , s ) = { x ∣ x j > s } , c ^ m = 1 N m ∑ x ∈ R m ( j , s ) y i ,    m = 1 , 2 R_1(j,s) = \{x|x^{j} \le s \}和R_2(j,s) = \{x|x^{j} > s \},\hat{c}_m = \frac{1}{N_m}\sum\limits_{x \in R_m(j,s)}y_i,\;m=1,2 R1​(j,s)={x∣xj≤s}和R2​(j,s)={x∣xj>s},c^m​=Nm​1​x∈Rm​(j,s)∑​yi​,m=1,2
    c. 继续调用步骤1，2直到满足停止条件，就是每个区域的样本数小于等于5。
    d. 将特征空间划分为J个不同的区域，生成回归树：$f(x)=\sum _{m=1}^J{\hat{c}}_{m}I(x\in R_m)$
    回归树与线性模型的比较：
    线性模型的模型形式与树模型的模型形式有着本质的区别，具体而言，线性回归对模型形式做了如下假定：$f(x)=w_0+\sum _{j=1}^p{w}_j{x}^{(j)}$，而回归树则是$f(x)=\sum _{m=1}^J{\hat{c}}_{m}I(x\in R_m)$。那问题来了，哪种模型更优呢？这个要视具体情况而言，如果特征变量与因变量的关系能很好的用线性关系来表达，那么线性回归通常有着不错的预测效果，拟合效果则优于不能揭示线性结构的回归树。反之，如果特征变量与因变量的关系呈现高度复杂的非线性，那么树方法比传统方法更优。
    树模型的优缺点：
  • 树模型的解释性强，在解释性方面可能比线性回归还要方便。
  • 树模型更接近人的决策方式。
  • 树模型可以用图来表示，非专业人士也可以轻松解读。
  • 树模型可以直接做定性的特征而不需要像线性回归一样哑元化。
  • 树模型能很好处理缺失值和异常值，对异常值不敏感，但是这个对线性模型来说却是致命的。
  • 树模型的预测准确性一般无法达到其他回归模型的水平，但是改进的方法很多。

代码如下（示例）：
sklearn.tree.DecisionTreeRegressor(*, criterion=‘mse’, splitter=‘best’, max_depth=None, min_samples_split=2, min_samples_leaf=1, min_weight_fraction_leaf=0.0, max_features=None, random_state=None, max_leaf_nodes=None, min_impurity_decrease=0.0, min_impurity_split=None, presort=‘deprecated’, ccp_alpha=0.0）

• 参数：(列举几个重要的，常用的，详情请看上面的官网)
  criterion：{“ mse”，“ friedman_mse”，“ mae”}，默认=“ mse”。衡量分割标准的函数 。
  splitter：{“best”, “random”}, default=”best”。分割方式。
  max_depth：树的最大深度。
  min_samples_split：拆分内部节点所需的最少样本数，默认是2。
  min_samples_leaf：在叶节点处需要的最小样本数。默认是1。
  min_weight_fraction_leaf：在所有叶节点处（所有输入样本）的权重总和中的最小加权分数。如果未提供sample_weight，则样本的权重相等。默认是0。

from sklearn.tree import DecisionTreeRegressor    
reg_tree = DecisionTreeRegressor(criterion = "mse",min_samples_leaf = 5)
reg_tree.fit(X,y)
reg_tree.score(X,y)

• 支持向量机回归(SVR)
  在线性回归的理论中，每个样本点都要计算平方损失，但是SVR却是不一样的。SVR认为：落在 𝑓(𝑥) 的 𝜖 邻域空间中的样本点不需要计算损失，这些都是预测正确的，其余的落在 𝜖 邻域空间以外的样本才需要计算损失，因此：
  
  $$\begin{gathered} mi{n}_{w,b,{\xi }_i,{\hat{\xi }}_i}\frac{1}{2}||w|{|}^2+C\sum _{i=1}^N({\xi }_i,{\hat{\xi }}_i) \\ s.t.f(x_i)-y_i\le ϵ+{\xi }_i \\ {y}_i-f(x_i)\le ϵ+{\hat{\xi }}_i \\ {\xi }_i,{\hat{\xi }}_i\le 0,i=1,2,...,N \end{gathered}$$
  引入拉格朗日函数：
  $$\begin{array}{l}L(w,b,\alpha ,\hat{\alpha },\xi ,\xi ,\mu ,\hat{\mu })\\ =\frac{1}{2}\Vert w{\Vert }^2+C{\sum }_{i=1}^N\left({\xi }_i+{\hat{\xi }}_i\right)-{\sum }_{i=1}^N{\xi }_i{\mu }_i-{\sum }_{i=1}^N{\hat{\xi }}_i{\hat{\mu }}_i\\ +{\sum }_{i=1}^N{\alpha }_i\left(f\left(x_i\right)-y_i-ϵ-{\xi }_i\right)+{\sum }_{i=1}^N{\hat{\alpha }}_i\left(y_i-f\left(x_i\right)-ϵ-{\hat{\xi }}_i\right)\end{array}$$
  再令$L(w,b,\alpha ,\hat{\alpha },\xi ,\xi ,\mu ,\hat{\mu })$对$w,b,\xi ,\hat{\xi }$求偏导等于0，得： $w={\sum }_{i=1}^N\left({\hat{\alpha }}_i-{\alpha }_i\right)x_i$。
  上述过程中需满足KKT条件，即要求：
  $$\{\begin{array}{c}{\alpha }_i\left(f\left(x_i\right)-y_i-ϵ-{\xi }_i\right)=0\\ \widehat{{\alpha }_i}\left(y_i-f\left(x_i\right)-ϵ-{\hat{\xi }}_i\right)=0\\ {\alpha }_i{\hat{\alpha }}_i=0,{\xi }_i{\hat{\xi }}_i=0\\ \left(C-{\alpha }_i\right){\xi }_i=0,\left(C-{\hat{\alpha }}_i\right){\hat{\xi }}_i=0\end{array}$$
  SVR的解形如:$f(x)={\sum }_{i=1}^N\left({\hat{\alpha }}_i-{\alpha }_i\right)x_i^{T}x+b$

代码如下（示例）：
sklearn.svm.SVR(*, kernel=‘rbf’, degree=3, gamma=‘scale’, coef0=0.0, tol=0.001, C=1.0, epsilon=0.1, shrinking=True, cache_size=200, verbose=False, max_iter=-1)

• 参数：
  kernel：核函数，{‘linear’, ‘poly’, ‘rbf’, ‘sigmoid’, ‘precomputed’}, 默认=’rbf’。(后面会详细介绍)
  degree：多项式核函数的阶数。默认 = 3。
  C：正则化参数，默认=1.0。(后面会详细介绍)
  epsilon：SVR模型允许的不计算误差的邻域大小。默认0.1。

from sklearn.svm import SVR
from sklearn.preprocessing import StandardScaler     # 标准化数据
from sklearn.pipeline import make_pipeline   # 使用管道，把预处理和模型形成一个流程

reg_svr = make_pipeline(StandardScaler(), SVR(C=1.0, epsilon=0.2))
reg_svr.fit(X, y)
reg_svr.score(X,y)

2.作业

（1）请详细阐述线性回归模型得最小二乘法表达

• 最小二乘法是勒让德（A.M.Legendre）于1805年在其著作《计算彗星轨道的新方法》中提出的。它的主要思想就是求解未知参数，使得理论值与观测值之差（即误差、或者说残差）的平方和达到最小。我们需要衡量真实值$y_i$与线性回归模型的预测值$w^T{x}_i$之间的差距，在这里我们和使用二范数的平方和L(w)来描述这种差距，即：
  $$\begin{gathered} L(w)=\sum _{i=1}^N||w^T{x}_i-y_i|{|}_2^2=\sum _{i=1}^N(w^T{x}_i-y_i{)}^2=(w^T{X}^T-Y^T)(w^T{X}^T-Y^T{)}^T=w^T{X}^{T}Xw-2w^T{X}^{T}Y+Y{Y}^T \\ 因此，我们需要找到使得L(w)最小时对应的参数w，即： \\ \hat{w}=argminL(w) \\ 为了达到求解最小化L(w)问题，我们应用高等数学的知识，使用求导来解决这个问题： \\ \frac{\partial L(w)}{\partial w}=2X^{T}Xw-2X^{T}Y=0,因此： \\ \hat{w}=(X^{T}X{)}^{-1}{X}^{T}Y \end{gathered}$$

（2）在线性回归模型中，极大似然估计与最小二乘估计有什么联系与区别吗

• 我们假设噪声$ϵ\backsim N(0,{\sigma }^2),y=f(w)+ϵ=w^{T}x+ϵ$，因此：$y|x_i,wN(w^{T}x,{\sigma }^2)$
  我们使用极大似然估计MLE对参数w进行估计：
  $$\begin{gathered} L(w)=logP(Y|X;w)=log\prod _{i=1}^{N}P(y_i|x_i;w)=\sum _{i=1}^{N}logP(y_i|x_i;w) \\ =\sum _{i=1}^{N}log(\frac{1}{\sqrt{2\pi \sigma }}exp(-\frac{(y_i-w^T{x}_i{)}^2}{2{\sigma }^2}))=\sum _{i=1}^N[log(\frac{1}{\sqrt{2\pi }\sigma })-\frac{1}{2{\sigma }^2}(y_i-w^T{x}_i{)}^2] \\ argma{x}_{w}L(w)=argmi{n}_w[l(w)=\sum _{i=1}^N(y_i-w^T{x}_i{)}^2] \\ 因此：线性回归的最小二乘估计<==>噪声ϵ\backsim N(0,{\sigma }^2)的极大似然估计 \end{gathered}$$

（3）为什么多项式回归在实际问题中的表现经常不是很好

• 为了体现因变量和特征的非线性关系，一个很自然而然的想法就是将标准的线性回归模型：
  $$y_i=w_0+w_1{x}_i+{ϵ}_i$$
  换成一个多项式函数：
  $$y_i=w_0+w_1{x}_i+w_2{x}_i^2+...+w_d{x}_i^d+ϵ$$
  然而对于多项式的阶数d不能取过大，一般不大于3或者4，因为d越大，多项式曲线就会越光滑，在X的边界处有异常的波动。（图中的边界处的4阶多项式拟合曲线的置信区间(虚线表示置信区间)明显增大，预测效果的稳定性下降。）
  
  

（4）决策树模型与线性模型之间的联系与差别

• 回归树与线性模型的比较：
  线性模型的模型形式与树模型的模型形式有着本质的区别，具体而言，线性回归对模型形式做了如下假定：$f(x)=w_0+\sum _{j=1}^p{w}_j{x}^{(j)}$，而回归树则是$f(x)=\sum _{m=1}^J{\hat{c}}_{m}I(x\in R_m)$。至于哪种模型更优呢？这个要视具体情况而言，如果特征变量与因变量的关系能很好的用线性关系来表达，那么线性回归通常有着不错的预测效果，拟合效果则优于不能揭示线性结构的回归树。反之，如果特征变量与因变量的关系呈现高度复杂的非线性，那么树方法比传统方法更优。
  
  树模型的优缺点：
  • 树模型的解释性强，在解释性方面可能比线性回归还要方便。
  • 树模型更接近人的决策方式。
  • 树模型可以用图来表示，非专业人士也可以轻松解读。
  • 树模型可以直接做定性的特征而不需要像线性回归一样哑元化。
  • 树模型能很好处理缺失值和异常值，对异常值不敏感，但是这个对线性模型来说却是致命的。
  • 树模型的预测准确性一般无法达到其他回归模型的水平，但是改进的方法很多。

（5）什么是KKT条件

• KKT条件是解决最优化问题的时用到的一种方法。我们这里提到的最优化问题通常是指对于给定的某一函数，求其在指定作用域上的全局最小值。提到KKT条件一般会附带的提一下拉格朗日乘子。对学过高等数学的人来说比较拉格朗日乘子应该会有些印象。二者均是求解最优化问题的方法，不同之处在于应用的情形不同。
  一般情况下，最优化问题会碰到一下三种情况：
  （1）无约束条件
  这是最简单的情况，解决方法通常是函数对变量求导，令求导函数等于0的点可能是极值点。将结果带回原函数进行验证即可。
  （2）等式约束条件
  设目标函数为f(x)，约束条件为hk(x)，形如s.t. 表示subject to ，“受限于”的意思，l表示有l个约束条件。
  $$\begin{gathered} minf(x) \\ s.t.h_j(x)=0,j=1,2,...,l \end{gathered}$$
  解决方法是消元法或者拉格朗日法。
  （3）不等式约束条件
  设目标函数f(x)，不等式约束为g(x)，有的教程还会添加上等式约束条件h(x)。此时的约束优化问题描述如下：
  $$\begin{gathered} minf(x) \\ s.t.g_i(x)\le 0,i=1,2,...,m \\ {h}_j(x)=0,j=1,2,...,l \end{gathered}$$
  引入拉格朗日函数：$L(x,\lambda ,\mu )=f(x)+\sum _{i=1}^m{\lambda }_i{g}_i(x)+\sum _{j=1}^l{\mu }_j{h}_j(x)$
  其中$f(x)$是原目标函数，$h_j(x)$是第j个等式约束条件，$u_j$是对应的约束系数，$g_i(x)$是第i个不等式约束条件，${\lambda }_i$是对应的约束系数。
  此时若要求解上述优化问题，必须满足下述条件（也是我们的求解条件）：
  $$\begin{gathered} \nabla f(x^{\ast })+\sum _{i=1}^m{\lambda }_i\nabla g(x^{\ast })+\sum _{j=1}^l{\mu }_j\nabla h_j(x^{\ast })=0(对偶条件) \\ {\lambda }_i\ge 0,i=1,2,...,m(不等式约束情况) \\ {g}_i(x^{\ast })\le 0(原问题条件) \\ {h}_j(x^{\ast })=0(原问题条件) \\ {\lambda }_{i}g(x^{\ast })=0(互补松弛定理) \end{gathered}$$
  这些求解条件就是KKT条件。 对于一般的任意问题而言，KKT条件是使一组解成为最优解的必要条件，当原问题是凸问题的时候，KKT条件也是充分条件。

（6）为什么要引入原问题的对偶问题

• 这是因为原问题与对偶问题就像是一个问题两个角度去看，如利润最大与成本最低等。有时侯原问题上难以解决，但是在对偶问题上就会变得很简单。再者，任何一个原问题在变成对偶问题后都会变成一个凸优化的问题，而凸优化问题在求解过程较为简单。

（7）使用CH1机器学习数学基础所学的内容，找到一个具体的数据集，使用线性回归模型拟合数据，要求不能使用sklearn，只能使用python与numpy

• 代码如下

import numpy as np
import random
import matplotlib.pyplot as plt
%matplotlib inline 
plt.style.use("ggplot")      

#生成数据集
x = []
y = []
for i in range(50):
    x.append(i)
    a = random.uniform(1.0,5.0)
    y.append(i + a)

xMat = np.mat(x).T; yMat = np.mat(y).T
def standRegres(xMat,yMat):
    xTx = xMat.T*xMat
    ws = xTx.I * (xMat.T*yMat)       #求 w=(x.T*x).I*x.T*y
    return ws

print(ws)
plt.figure()
plt.scatter(x,y,c = 'k')
plt.plot(x,xMat*ws,'r')
plt.xlabel('x') 
plt.ylabel('y')
plt.show()

参考：
【1】https://www.bilibili.com/video/BV1Mb4y1o7ck?from=search&seid=6085778383215596866
【2】https://github.com/datawhalechina/ensemble-learning