python 多重线性回归_回归分析|笔记整理（9）——带约束的线性回归，多重共线性...

大家好！

这一节我们主要关注下面两个内容——带约束的线性回归和多重共线性。它们都是在现实中经常出现和被应用的内容，因此这一节还是具有很强的实用性的。

提供之前的笔记：

• 回归分析|笔记整理（1）——引入，一元线性回归（上）
• 回归分析|笔记整理（2）——一元线性回归（下）
• 回归分析|笔记整理（3）——多元正态分布理论（上）
• 回归分析|笔记整理（4）——多元正态分布理论（中）
• 回归分析|笔记整理（5）——多元正态分布理论（下）
• 回归分析|笔记整理（6）——多元线性回归（上）
• 回归分析|笔记整理（7）——多元线性回归（下），违背基本假设的情况
• 回归分析|笔记整理（8）——变量选择

我们开始本节的内容。

目录

• 带约束的线性回归
  • 的最小二乘估计
  • 参数统计性质
  • 残差平方和及显著性检验
• 多重共线性
  • 引入
  • 多重共线性的诊断
    • 方差扩大因子法
    • 特征根判定法
  • 主成分回归与典则形式

带约束的线性回归

实际情况下，有的时候我们会人为的给回归系数添加一些限制。而这在直观上就使得回归变成了下面这样的问题。

这里的

的含义就是约束的个数。通过写开

你不难看出它的意义。

的最小二乘估计

和一般的多元回归一样，我们需要进行最小二乘估计。根据优化理论可以知道可以用Lagrange乘数法求

的最小值解，进而根据方程组得到所要求的

。

我们根据矩阵求导的理论，令

，那么会得到下面这个方程组。

解这个方程组，可以得到

这个是通过硬解出来的，但是显然是不够的，我们需要验证一下。注意到我们的表达式

而注意到下面的式子

所以交叉项是0（这样的操作在上一节我们也有过，你应该不会陌生了），所以这样的话就可以得到我们化简的第一步式子

第一个式子已经是一个常数了（并且你应该能看出来就是

），但是第二个式子还有未知的量。所以你也许能够猜出来，我们下一步就是再做一次化简，看看能不能弄出

。为此我们试着对第二个部分做一下拆分

而交叉项我们计算一下，注意到

所以实际上会有

，注意到

这个关系式，所以实际上我们如果能够说明

，就可以说明这个交叉项为0。根据以往的经验这肯定是我们想要的结果。而这个是很简单的，因为

所以交叉项为0，于是最终这个二次型的第二项就被化简成了

第一项又是一个常数，而第二项很显然可以看出，在

的时候是让这个式子取到最小值的，并且可以看出这个值也是满足线性约束的。这就说明了

的合理性。

参数统计性质

显然，参数也会有自己的一些统计性质。

Proposition 1:
若

，那么有

，其中

期望很简单，虽然式子很长，留给读者做习题，我们只说明协差阵。注意到

其中

是一