分位数回归的matlab程序_回归分析|笔记整理（D）——LASSO回归，分位数回归概述...

各位，元旦快乐！2019年一定要顺心顺意啊！

在这一节我们会简单介绍一些比较前沿的统计方法——LASSO和分位数回归。要注意的是这两种方法的理论证明作为一个统计系的本科生来说掌握太困难了（当然了，作为学计算数学的，难度也一样）。所以我们这一节只会在感性上让大家了解它们究竟是怎么一回事，因此这一篇更多算是一个“概述”。

提供之前的笔记：

• 回归分析|笔记整理（1）——引入，一元线性回归（上）
• 回归分析|笔记整理（2）——一元线性回归（下）
• 回归分析|笔记整理（3）——多元正态分布理论（上）
• 回归分析|笔记整理（4）——多元正态分布理论（中）
• 回归分析|笔记整理（5）——多元正态分布理论（下）
• 回归分析|笔记整理（6）——多元线性回归（上）
• 回归分析|笔记整理（7）——多元线性回归（下），违背基本假设的情况
• 回归分析|笔记整理（8）——变量选择
• 回归分析|笔记整理（9）——带约束的线性回归，多重共线性
• 回归分析|笔记整理（A）——岭回归，主成分回归（上）
• 回归分析|笔记整理（B）——主成分回归（下），偏最小二乘回归
• 回归分析|笔记整理（C）——非线性回归，含定性变量的回归模型

我们开始本节的内容。

LASSO回归

做机器学习的不可能对这个词感到陌生。如果用中文来说，它就是“套索”回归的意思。不过有的人叫它LASSO可能是因为它的图形像一个套索，但是这只是一个巧合，它的实际的全称是Least Absolute Selection and Shrinkage Operator，最小绝对值选择与收缩算子。这个名字为什么这么叫，我们之后就知道了。

岭回归回顾

我们在第A节说过岭回归的解是

但是弄机器学习的却发现它们一般考虑岭回归的解是最小化下面这个目标函数得到的。

任何一个人都会感到奇怪，因为一个地方

的添加是为了消除多重共线性，但是另一个地方

的添加更多的是为了防止模型的过拟合。但是如果你按照第6节推导多元回归公式的方法做一遍，你会发现这两个形式

真的是等价的。当然了，你也会发现一些很细小的不同，它与之前的

相比多了一个系数。

应用Lagrange对偶法（优化理论的东西，不知道不影响接着看），可以知道最终是为了解下面这个优化问题。

实际数据中一般

都会中心化，所以

就可以省略掉。

LASSO回归

LASSO回归的提出很简单，就是把惩罚项换了一个形式，从2-范数换成了1-范数。把它的拉格朗日对偶形式改成了下面这样

将它得到的解称为LASSO估计。它对应的原始的优化形式中的那个

也改了一个名字，就叫

收缩算子。就这么一个小的改动就带来了一个大的创新。我们可以看一下它的实际实验结果。

你可以看到，二者都可以让回归系数慢慢的趋于0，但是不一样的是LASSO回归针对不同的自变量，会使其收敛的速度不一样。有的变量就很快趋于0了，有的却会很慢。因此一定程度上LASSO回归非常适合于做变量选择。相比之下，看岭回归的图就容易看得出来，它也会有这个趋势，但是严格趋于0的时候一定是要求它的

要非常非常大（这个图可能初看有些让人误解，注意它的横坐标并不是