【机器学习】Logistic回归

一、Logistic回归概念

Logistic回归（logistic regression）是统计学习中的经典分类方法，属于对数线性模型，所以也被称为对数几率回归。这里要注意，虽然带有回归的字眼，但是该模型是一种分类算法，Logistic回归是一种线性分类器，针对的是线性可分问题。利用logistic回归进行分类的主要思想是：根据现有的数据对分类边界线建立回归公式，以此进行分类。

二、基于Logistic回归和Sigmoid函数的分类

1.Sigmoid函数

函数表达式：

下图给出了Sigmoid函数在不同坐标尺度下的两条曲线图，当x为0时，Sigmoid函数值为0.5。随着x的增大，对应的Sigmoid值将逼近于1；随着x的减小则逼近于0.当横坐标尺度较小时，曲线变化较为平滑，当尺度扩大到一定程度，Sigmoid看起来像一个阶跃函数。

 

 

那么对于Sigmoid函数计算公式，我们可以这样解释：为了实现logistic回归分类器，我们可以在每个特征上都乘以一个回归系数，然后把所有的结果值相加，将这个总和带入sigmoid函数中。进而得到一个范围在0-1之间的数值。最后设定一个阈值，在大于阈值时判定为1，否则判定为0。以上便是逻辑斯谛回归算法是思想，公式就是分类器的函数形式。
 

"""
Sigmoid函数实现
"""
def sigmoid(inX):
	return 1.0 / (1 + np.exp(-inX))

 2.Logistic回归的优缺点

优点：

（1）无需事先假设数据分布

（2）可得到“类别”的近似概率预测（概率值还可用于后续应用）

（3）可直接应用现有数值优化算法ÿ