逻辑回归

逻辑回归和线性回归的异同

1.处理问题不同

逻辑回归处理的是分类问题
线性回归处理的是回归问题
逻辑回归中因变量取值是一个二元分布，模型学习得出的是表示给定自变量和超参数后，得到因变量的期望，并基于此期望来处理预测分类的问题。
线性回归中实际上求解的是是对假设的真实关系的一个近似，使用这个近似项来处理回归问题。

2.因变量

逻辑回归中因变量是离散的，线性回归中因变量是连续的

相同之处

1. 都是使用极大似然估计来对训练样本进行建模
2. 逻辑回归中通过对似然函数的学习，得到最佳参数。
3. 两者在求解超参数时，都使用梯度下降法

当使用逻辑回归处理多标签分类问题时，常见做法以及应用场景

当一个样本只对应于一个标签时

假设每个样本属于不同标签的概率服从于几何分布，使用多项逻辑回归（Softmax）来进行分类。


多项逻辑回归具有参数冗余的特点，即将同时加减一个向量后预测结果不变。
特别的，当类别数为2时，

多项逻辑回归是二分类逻辑回归在多标签分类下的一种拓展

当存在样本可能属于多个标签的情况时

训练k个二分类的逻辑回归分类器。第I个分类器用以区分每个样本是否可以归为第i类。训练该分类器时，需要把标签重新整理为“第i类标签”与“非第i类标签”两类