逻辑回归

1.什么是逻辑回归?
逻辑回归本质上是线性回归，在特征得到结果的映射中加入一层函数映射，该函数将特征值线性求和的结果(连续值)映射到0和1上(离散值)
2.逻辑回归为什么选择sigmoid作为映射函数？
1）对逻辑回归模型，目标是最大化条件似然度，对于给定已知x，表示其对应类标记y出现的概率p(y|x;w)，通常对于一个有效分类器，w，x代表数据属于正类y=1的置信度，函数(sigmoid)可以将w，x映射到条件概率，即说明出现的可信度；
2）sigmoid的性质：函数单调上升，连续可导
3）sigmoid函数

导数的特殊性质：

3.逻辑回归中损失函数
在逻辑回归中，y{0,1},依据概率论，其属于对应类别的概率为：

将二者合并，即：

假设该训练集有m个样本，构造其似然函数：

按照极大似然的思路，此处应该极大化似然函数求极值，而逻辑回归把极大化当做一种思想，进而推导它的经验风险函数，最小化负的似然函数(最大化似然函数和最小化负的似然函数达到一样的目的)
为了计算其平均损失，添加一个额外的缩放系数：
最后其损失函数为：

说明，交叉熵损失函数为：

所以，逻辑回归的损失函数可以认为是交叉熵函数的一个应用；
我们求解的问题转化为：