0819zuoye

三、作业
（1）请详细阐述线性回归模型得最小二乘法表达
最小二乘法即为求解未知参数，使残差（理论值与观测值之差）的平方和达到最小。
对残差二范数的平方和表达式求导，得到使表达式的值最小时的w

（2）在线性回归模型中，极大似然估计与最小二乘估计有什么联系与区别吗
区别：
原理上：最小二乘估计，最合理的参数估计量应该使得模型能最好地拟合样本数据，也就是估计值和观测值之差的平方和最小；而最大似然法，最合理的参数估计量应该使得从模型中抽取该n组样本观测值的概率最大，也就是概率分布函数或者说是似然函数最大。
函数上：最小二乘法以估计值与观测值的差的平方和作为损失函数，极大似然法则是以最大化目标值的似然概率函数为目标函数，从概率统计的角度处理线性回归并在似然概率函数为高斯函数的假设下同最小二乘建立了的联系。

联系：
测量误差（测量）服从高斯分布的情况下， 最小二乘法等价于极大似然估计。

（3）为什么多项式回归在实际问题中的表现经常不是很好
用多项式拟合逼近时，为尽可能地拟合训练数据，所得的多项式次数可能过高，未做正则化处理，发生过拟合，模型在边缘晃动，也可能出现龙格现象，次数越大的时候误差越大。

（4）决策树模型与线性模型之间的联系与差别
区别：
树模型：可视化性好，可以通过图表直观的读取结论信息，可解释性更强，可得到有最强区分样本的能力，一般用于处理特征空间复杂的模型。
线性模型：易于做拟合曲线，模型相对简单，往往预测精度较高，方差较低。

联系：
树模型与线性模型都可以用于分类问题

（5）什么是KKT条件
KKT条件是求解带不等式约束的最优化问题中非常重要的一个概念和方法。
一、带等式约束的优化问题
带等式约束的优化问题是指我们有个求最大值或者最小值的目标函数，同时，针对该目标函数我们还有一些约束条件，这些约束条件是等式。该问题的形式化描述如下：

求解上述问题一般有两种方法，一种是消元法，就是把这些等式联立，然后求解即可。也就是多元一次方程组的求解了。之类不多说了。另一种方法是拉格朗日乘数法，这是高等数学里面提供的一种方法。这是一种寻找多元函数在其变量受到一个或者多个条件的约束的时候，求极值的方法。该方法将一个有nn个变量和kk个等式约束条件的最优化问题，转换成一个有n+kn+k个变量的方程组求解问题。该方法会引入一组未知数，这些未知数称为拉格朗日乘子（或者算子、乘数等）。对上式进行拉格朗日乘数法转换得到一个新的函数：

这个时候对上述转换后的方程求解其极值点会包含原问题所有的极值点，但是不保证每个极值点都是原问题的极值点。这个理论上有证明这里忽略了。因此，当转换后的公式只包含一个极值点的时候，我们可以对上市求偏导后联立方程，得到的结果就是原来结果的极值点。上式中的未知数包含了所有的x和λ：

二、带不等式约束的最优化问题
与拉格朗日乘法类似，如果最优化问题的约束是不等式，那么我们可以使用KKT条件来求解。KKT条件就是拉格朗日乘数法在带不等式约束优化问题上的推广。

假设我们有如下的最优化问题：

那么该问题的拉格朗日函数为：

KKT条件是指一组条件，它是一组解成为原问题最优解的必要条件。如果原问题是凸问题，那么这个条件也是充分条件。K.K.T.条件包括平稳条件、互补松弛条件、对偶可行性条件、原问题可行性条件等几类。上述问题的KKT条件如下：

（6）为什么要引入原问题的对偶问题
1）对偶问题将原始问题中的约束转为了对偶问题中的等式约束
2）方便核函数的引入
3）改变了问题的复杂度。由求特征向量w转化为求比例系数a，在原始问题下，求解的复杂度与样本的维度有关，即w的维度。在对偶问题下，只与样本数量有关。
4）求解更高效，因为只用求解比例系数a，而比例系数a只有支持向量才为非0，其他全为