线性回归分析和回归方法

线性回归分析和回归方法

ElasticNet回归，即岭回归和Lasso技术的混合，当存在多个相关特征时，Lasso 会随机挑选他们其中的一个，而ElasticNet则会选择两个。即在高度相关变量的情况下，它会产生群体效应。


总结
1.岭回归可以解决特征数量比样本量多的问题

2.岭回归作为一种缩减算法可以判断哪些特征重要或者不重要，有点类似于降维的效果

3.缩减算法可以看作是对一个模型增加偏差的同时减少方差

岭回归用于处理下面两类问题：

1.数据点少于变量个数

2.变量间存在共线性（最小二乘回归得到的系数不稳定，方差很大）

三、lasso回归
1、原理
【拉格朗日乘数法】

对于参数w增加一个限定条件，能到达和岭回归一样的效果：


岭回归
岭回归是一种专用于共线性数据分析的有偏估计回归方法，实质上是一种改良的最小二乘估计法，通过放弃最小二乘法的无偏性，以损失部分信息、降低精度为代价获得回归系数更为符合实际、更可靠的回归方法，对病态数据的拟合要强于最小二乘法。


[url]https://blog.csdn.net/wmymo/article/details/79505445[/url](机器学习之普通线性回归、岭回归与lasso回归比较)

[url]https://blog.csdn.net/wmymo/article/details/79505445[/url]