Logistic
模型自适应组
Lasso
算法
崔琨鹏
赵
强
【摘
要】
摘要
本文将自适应
Lasso
与组
Lasso
进行结合得到了自适应组
Lasso,
给出了拥有自适应组
Lasso
惩罚项的
logistic
模型的相关概念及其符号
表示
;
运用坐标梯度下降算法给出了模型的求解方法
;
数值模拟表明了该方法在变
量选择以及模型预测中的优势
.
【期刊名称】
山东师范大学学报(自然科学版)
【年
(
卷
),
期】
2018(033)004
【总页数】
5
【关键词】
关键词
自适应组
Lasso; logistic
模型
;
坐标梯度下降
基金项目:国家自然科学基金青年资助项目
(11301309).
1
引
言
在统计学中
,
线性模型通常可用于自变量集对于因变量的预测
:
利用已知的自变量
集
X
和与之对应的因变量
Y
建立模型
Y=Xβ+β0,运用上述模型可以预测与自变
量集
X'
对应的因变量
Y'.
但在预测过程中
,
会存在较大的预测方差并且预测精度
较低
;
另一方面
,
若自变量集
X
的维度较高且含有与
Y
相关度不高的变量
,
在进行
预测时会使得计算复杂且产生预测误差
.
针对上述问题
,Tibshirani[1]
于
1996
年
在线性模型的求解方法最小二乘法的基础上加入了惩罚项产生了
Lasso(least
absolute shrinkage and selection operator)
方法:由损失函数和后加入的惩
罚项共同决定由于惩罚项的存在
,
会使得部分|βj|被压缩甚至减小至
0,
即与因变
量相关性较小的变量
Xj
不参与模型预测
,
这样就会降低模型的复杂度
,
从而增强
了模型的可解释性
;Lasso
不仅有上述的进行变量选择的功能
,
还可以在适当增加