逻辑回归（Logistic Regression）

    逻辑回归（Logistic Regression）是统计机器学习中经典的分类方法，这个算法容易让人望文生义地理解为是回归算法，其实叫逻辑回归并不是为了刻意地制造歧义，因为它本质上和线性回归并无差别，只是最后利用了Sigmoid函数作为激活函数，将回归得到的值作为激活函数的输入，最后将输出映射到（0,1）区间上；若是用于二分类（其实逻辑回归也常用于二分类），假如指定阈值为0.5，大于0.5的数据分类为正样本，小于0.5归为负样本，以此达到分类的效果；逻辑回归还有另一个特性，不仅可以得出分类的结果，还可以得到具体的概率值，原因是显然的。

Sigmoid函数图像与表达式：

该函数值域为(0,1)，且处处可微，方便之后梯度下降求偏导，具有良好的数学性质。

那么将线性回归输出直接作为输入z可得逻辑回归模型：

此时Loss Function的选择就不是那么直观，使用的是对数损失函数：，我们一般习惯求解损失函数的最小值，于是在该式上添加了负号。

详情如图，

*对于损失函数J(w)的偏导求解过程略