自适应lasso_Logistic模型自适应组Lasso算法

Logistic

模型自适应组

Lasso

算法

崔琨鹏

赵

强

【摘

要】

摘要

本文将自适应

Lasso

与组

Lasso

进行结合得到了自适应组

Lasso,

给出了拥有自适应组

Lasso

惩罚项的

logistic

模型的相关概念及其符号

表示

;

运用坐标梯度下降算法给出了模型的求解方法

;

数值模拟表明了该方法在变

量选择以及模型预测中的优势

.

【期刊名称】

山东师范大学学报(自然科学版)

【年

(

卷

),

期】

2018(033)004

【总页数】

5

【关键词】

关键词

自适应组

Lasso; logistic

模型

;

坐标梯度下降

基金项目：国家自然科学基金青年资助项目

(11301309).

1

引

言

在统计学中

,

线性模型通常可用于自变量集对于因变量的预测

:

利用已知的自变量

集

X

和与之对应的因变量

Y

建立模型

Y=Xβ+β0,运用上述模型可以预测与自变

量集

X'

对应的因变量

Y'.

但在预测过程中

,

会存在较大的预测方差并且预测精度

较低

;

另一方面

,

若自变量集

X

的维度较高且含有与

Y

相关度不高的变量

,

在进行

预测时会使得计算复杂且产生预测误差

.

针对上述问题

,Tibshirani[1]

于

1996

年

在线性模型的求解方法最小二乘法的基础上加入了惩罚项产生了

Lasso(least

absolute shrinkage and selection operator)

方法：由损失函数和后加入的惩

罚项共同决定由于惩罚项的存在

,

会使得部分|βj|被压缩甚至减小至

0,

即与因变

量相关性较小的变量

Xj

不参与模型预测

,

这样就会降低模型的复杂度

,

从而增强

了模型的可解释性

;Lasso

不仅有上述的进行变量选择的功能

,

还可以在适当增加