Lasso思想及算法

分享一下我老师大神的人工智能教程。零基础！通俗易懂！风趣幽默！还带黄段子！希望你也加入到我们人工智能的队伍中来！https://blog.csdn.net/jiangjunshow

               

 

Lasso思想及算法

分类： 机器学习 math 2013-09-08 16:59  30人阅读  评论(0)  收藏  举报

lasso 最优化

本文转载自：http://liuzg202.blog.163.com/blog/static/29427196201010259233251/ ，致谢！

=======================================================

1、只有这么几个人在做LASSO，他们都是大牛，你可以直接GOOGLE他们的主页，看他们在这块发了什么文章。

yu bin, zhu ji, zhang tong, hui zou, yuan ming, Nicolai Meinshausen, Peter Bühlmann, Martin J. Wainwright, jianqing fan, Liza Levina, Peter Bickel,Tibshirani（Lasso的提出者）

2、统计和算法不是一回事的。举个例子吧，下面这篇文章就是统计的人发的，其中讨论到如何在GLM上运用SCAD -- LASSO衍生出来的一种惩罚函数项 -- 他们就做的很理论，他们很关心这个“算法”的理论性质，比如估计量是否趋近正太，如果是，lambda该以何种rate收敛。他们也讨论算法，但是他们对算法的要求很简单，能算出来就行。http://www.stat.umn.edu/~hzou/Papers/onestep.pdf

3、而如下这篇，讨论的基本属于同一个问题，如果将LASSO运用在GLM中的logistic回归上。但是，他们关心的是，如何算得又快又好。你看，这个时候，统计学界所陌生的nestiov都出来了。这个算法非常快，1000多个变量，也就几十秒的事情。