逻辑斯蒂回归公式推导

逻辑斯蒂回归，一个不是很恰当的理解就是在线性回归的基础上加了一个sigmoid函数。将其输出空间映射到0-1上面来。
然后映射后的这个值就代表他被分为类别1的概率。

话不多说。这个就是逻辑回归（线性回归加上sigmoid的）最基本的公式。
线性回归是用y = wx_i +b 去拟合y_i也就是训练一组参数w使得wx+b尽可能的去逼近，而逻辑回归中的对数几率回归（周志华老师的书上有介绍，这里就不啰嗦了）用在分类问题上，它的目标是如果x是正样本，那么最后训练出的w和
b应该使得这个y尽可能的逼近1，负样本则是逼近于0。

有了这两个公式。就可以用极大似然求解了。
极大似然的意思就是使训练样本中的数据出现的概率尽可能的大。

$$\begin{equation*} l(w,b) = \sum_{i=1}^mln p(y_i|x_i;w,b) \end{equation*}$$
每个样本属于其真实标记的概率越大越好。
而

p(yi|xi;w,b)=p(y=0|xi;w,b)(1−yi)∗p(y=1|