逻辑回归的参数详解及属性

逻辑回归类中实现了二分类、一对多分类，多项式逻辑回归。

针对优化算法的解释如下：

“lbfgs”, “sag” 和 “newton-cg” solvers （求解器）只支持 L2 惩罚项，对某些高维数据收敛更快。这些求解器的参数 `multi_class`设为 “multinomial” 即可训练一个真正的多项式 logistic 回归 [5] ，其预测的概率比默认的 “one-vs-rest” 设定更为准确。

“sag” 求解器基于平均随机梯度下降算法（Stochastic Average Gradient descent） [6]。在大数据集上的表现更快，大数据集指样本量大且特征数多。

“saga” 求解器 [7] 是 “sag” 的一类变体，它支持非平滑（non-smooth）的 L1 正则选项 penalty="l1" 。因此对于稀疏多项式 logistic 回归 ，往往选用该求解器。

一言以蔽之，选用求解器可遵循如下规则:

Case	Solver
L1正则	“liblinear” or “saga”
多项式损失（multinomial loss）	“lbfgs”, “sag”, “saga” or “newton-cg”
大数据集（n_samples）	“sag” or “saga”

“saga” 一般都是最佳的选择，但出于一些历史遗留原因默认的是 “liblinear” 。

对于大数据集，还可以用 SGDClassifier ，并使用对数损失（’log’ loss）

laogistic的属性

.decision_function(x)

.fit_transform(x,y)

.transform(x)

.score(x,y) 分类器的accury得分