Logistic回归分类模型

模型背景

逻辑回归（Logistic Regression）是一种用于解决二分类（0 or 1）问题的机器学习方法，用于估计某种事物的可能性。比如某用户购买某商品的可能性，某病人患有某种疾病的可能性，以及某广告被用户点击的可能性等。 注意，这里用的是“可能性”，而非数学上的“概率”，logisitc回归的结果并非数学定义中的概率值，不可以直接当做概率值来用。该结果往往用于和其他特征值加权求和，而非直接相乘。

与线性回归的区别

逻辑回归假设因变量 y 服从伯努利分布，而线性回归假设因变量 y 服从高斯分布。可以说，逻辑回归是以线性回归为理论支持的，但是逻辑回归通过Sigmoid函数引入了非线性因素，因此可以轻松处理0/1分类问题。而在线性回归模型，因为其预测的值可以超越[0,1]的范围，并不适合解决这样的问题。
逻辑回归并不是回归而是分类，是一种定性的分析，线性回归用来预测数值，是定量的，不适合用在分类上。

在上如图中，如果我们用线性回归去拟合，如果得到预测值大于1很难去解释。所以我们在接下来的要研究的算法就叫做逻辑回归算法，这个算法的性质是：它的输出值永远在0到 1 之间。

逻辑模型分类

1. 二元逻辑分类。只有两种分类结果。
2. 多元无序分类。多种分类结果。
3. 多元有序分类。分类有等级排序。

模型构建

我们将因变量(dependent variable)可能属于的两个类分别称为负向类（negative class）和正向类（positive class）。我们的分类器的输出值在0和1之间，因此，我们希望想出一个满足某个性质的假设函数，这个性质是它的预测值要在0和1之间。

一个单调可微的函数来供我们使用，于是便找到了Sigmoid function来替代。去除Sigmoid映射函数的话，逻辑回归算法就是一个线性回归。
$$g(z)=\frac{1}{1+e^{-z}}$$

图像如下图所示:

假设函数（Hypothesis function）

其中 $x$ 是我们的输入，$\theta$ 为我们要求取的参数。
这个假设函数就是我们的在假设条件下$y=1$的可能性（不是概率）。表示为：

决策边界

决策边界，也称为决策面，是用于在N维空间，将不同类别样本分开的平面或曲面。
注意：决策边界是假设函数的属性，由参数决定，而不是由数据集的特征决定。