1、岭回归+lasso回归+弹性网络
岭回归的由来以及效果在上一篇博客中已经介绍过了,这里用另一种方法介绍:
在原损失函数中添加惩罚项,控制拟合参数的大小,即添加正则项。使正则项和原最小二乘法之和达到最小时,求得的参数为最后解。
lasso添加的正则项稍有不同,弹性网络则结合了lasso和岭回归。
j
岭回归:
lasso:
弹性网络:
小结:
岭回归比较常用,当自变量较多时,而有用的变量可能较少时,lasso和弹性网络更常用。其中弹性网络应用更为广泛,很多时候效果更好。
糖尿病数据案例分析
这里仅仅展现lasso部分:
library("lars")
data=