手推LR

算法的推导过程

• 基本模型

一个事件的几率(odds)是指该事件发生的概率与该事件不发生的概率的比值。如果事件发生的概率是p，那么该事件的几率是，该事件的对数几率(log odds)或logit函数是

• 似然函数

目标函数求导

梯度上升法求解参数

梯度上升法更新θj参数的值：

注：求解似然函数一般是求解最大值，使用梯度上升算法，使得最优解不断增大。相对应的是损失函数，一般是似然函数的相反数，所以使用的是梯度下降法求解损失函数的最小值参数。（可以在目标函数中加一个负号变为损失函数，从而原来的梯度上升的算法就变为了梯度下降算法求解参数的值）