逻辑回归python正则化_python – sklearn中随机回归的正则化参数设置

我正在使用sklearn Randomized Regression,例如Randomized Logistic Regression.因为随机逻辑回归使用L1惩罚,所以需要设置正则化参数C(或Lasso中的alpha).

为了找到C的好价值,我通常使用简单的GridSearchCV,如下所示.

但RandomizedLogisticRegression()不支持GridSearchCV,因为它包含bootstrapping.相反,我尝试将典型的LogisticRegression与GridSearchCV一起使用.

params = {'C':[0.1, 1, 10]}

logi = LogisticRegression(penalty='l1')

clf = GridSearchCV(logi, params, cv=10)

我可以通过这种方式获得C,但是,当我将此C值应用于随机逻辑回归时,没有选择任何属性.也许GridSearchCV选择的C非常低.

因此,我想知道在使用随机回归时是否还有其他好方法可以确定C(或alpha)的公允价值.

之前有一个similar question,但我认为答案是典型的回归.

谁能给我一个想法吗？

解决方法:

由于RandomizedLogisticRegression用于特征选择,因此需要将其作为管道的一部分进行交叉验证.您可以将GridSearchCV应用于管道,该管道将其作为特征选择步骤与您选择的分类器一起包含.示例可能如下所示：

pipeline = Pipeline([

('fs', RandomizedLogisticRegression()),

('clf', LogisticRegression())

])

params = {'fs__C':[0.1, 1, 10]}

grid_search = GridSearchCV(pipeline, params)

标签：python,machine-learning,scikit-learn,regression