集成学习-基础数学模型回归

参考链接
作业详情链接
参考学习的教案链接

1、最小二乘法的表达式：
假设研究的问题有n个样本。
$X=(x_1,x_2,...,x_n{)}^T$
$Y=(y_1,y_2,...,y_n{)}^T$
$L(W)=\frac{1}{2}(XW-Y{)}^T(XW-Y)$

2、极大似然估计和最小二乘法的关系？
个人认为，两者本质上是同一个问题，极大似然估计是针对概率密度函数$P(Y|X,W)$寻找到使得P最大的W,也就是最优的W。同理，最小二乘法是找到使得L(W)最小的W,也就是最优的W.
只不过二者的出发点不同，极大似然估计是从概率的角度出发，求解的也是已知的概率密度函数，而最小二乘法是优化的L(W)。
如果假设这个概率密度模型是$N\sim (\mu ,{\sigma }^2)$,那么根据正态分布的密度函数可以类比写出:$\frac{1}{\sqrt{2\pi \sigma }}exp(-\frac{(Y-XW-0{)}^2}{2{\sigma }^2})\to \frac{1}{\sqrt{2\pi \sigma }}exp(-\frac{(Y-\mu {)}^2}{2{\sigma }^2}),其中假设\mu =XW$.
根据正态分布的性质可得：$\mu$越接近$Y$即$(Y-WX{)}^2$值越小,则概率值越大，也就是求解$\mu$的极大似然估计。

3、为什么多项式回归在实际问题中表现不好？
多项式回归容易受到异常值的影响，在数据密度较少的区域会产生很大的波动。

4、什么是KKT条件？

Karush-Kuhn-Tucker (KKT)条件是非线性规划(nonlinear programming)最佳解的必要条件。也就是最优解$x^{\ast }$必满足KKT条件，但是满足KKT条件的点未必是最优解。
证明：
针对这样的一个不等式约束问题：
$$\begin{gathered} \min f(x) \\ s.t.g_i(x)\le 0,i=1,2,...,m \\ {h}_j(x)=0,j=1,2,...,l \end{gathered}$$
假设$x\ast$是最优解。同时定义可行域$K=x|g_i(x)\le 0,i=1,2,...,m,h_j(x)=0,j=1,2,...,l$

• 如果$x^{\ast }$在可行域内，那么该优化问题就退化为无约束优化问题。则$\nabla f(x^{\ast })=0$.
• 如果$x^{\ast }$在可行域边界上，则梯度$\nabla f(x)$是指向可行域内部的，而$\nabla g(x)$是指向可行域外部（这是因为$g_i(x)\le 0$）。
  所以可以写出$\nabla f(x)={\sum }_i{\lambda }_i\nabla g_i(x)$.
  根据拉格朗日乘子法：
  $L(x,\lambda ,\mu )=f(x)+{\sum }_i{\lambda }_i{g}_i(x)+{\sum }_j{\mu }_j{h}_j(x)$
  所以可以写出最优化问题的KKT条件：
  $$\begin{gathered} {\nabla }_{x}L=0（对偶条件） \\ {h}_j(x)=0,j=1,2,...,l \\ {g}_i(x)\le 0,i=1,2,...,m \\ {\lambda }_i\ge 0,i=1,2,...,m（对偶条件） \\ {\lambda }_i{g}_i(x)=0,i=1,2,...,m（互补松弛定理） \end{gathered}$$

5、为什么引入原问题的偶问题？

• 灵敏度分析
• 根据弱对偶理论或者强对偶理论，帮助计算原问题。