逻辑回归推导

问题：讲讲逻辑回归

1、什么是逻辑回归

逻辑回归假设数据服从伯努利分布，通过极大化似然函数的方法，运用梯度下降来求解参数，达到将数据分类的目的。

2、模型函数、目标函数和求解

3、逻辑回归用于多分类

有两种解决方法，训练k个LR;扩展为softmax回归。

1、训练k个LR

假设有k个类别，每次挑选一个类别，将其设定为正例，其他类别的样本全部设定为负例，训练出一个LR；然后选择不同的类别作为正例进行上述步骤；最后得到k个不同的逻辑回归二分类器。在对未知样例进行分类时，输入到这k个分类器中分别计算出属于对应类别的概率，选择最大的那个作为分类的类别。

2、softmax回归

个人感觉softmax和逻辑回归就差别在求后验概率的方式上，后者用的是logit函数，前者用的是softmax函数(名字的由来么(●ˇ∀ˇ●))。导致之后的目标函数和更新梯度产生差别。自己写的推导在下面，求偏导那里分情况讨论了，巧妙的是最后仍能得到形式上的统一。（这里是个人的想法，若有过客发现了问题，请来教育我一波）

有些地方还提到了，对于选择softmax分类器还是k个logistic分类器，取决于所有类别之间是否互斥。所有类别之间明显互斥用softmax分类器，所有类别之间不互斥有交叉的情况下最好用k个logistic分类器。