机器学习 - 逻辑回归

Logistic 回归又称 logistic 回归分析，是一种广义的线性回归分析模型，常用于数据挖掘，疾病自动诊断，经济预测等领域。

正文

简介

从名字上来看，读者很容易把逻辑回归也理解成是一种用于拟合的回归算法。但实际上逻辑回归不是回归，它是一种分类算法。
比如说，预测一个人有没有生病，有就输出 1， 没有就输出 0。 这里就可以运用逻辑回归模型。从这个例子可以看到，逻辑回归最显著的特点就是其输出值是离散的值。
 

预测函数——二元分类

要求：函数的值域为 [0,1]。然后函数能被选定一个基准值，当计算出的值大于基准值时返回 1， 小于基准值时返回 0。 同时，函数具有非常好的对称性并且对输入超过一定范围就会不敏感。
于是，我们选择Sigmoid 函数作为预测函数（这个函数在许多领域有重要作用，也被称之为 S 形函数）

结合图像可以看到 ，Sigmoid 函数完美的符合了我们的所有要求。
同时，因为逻辑回归是一种广义线性回归模型，所以我们可以结合线性回归的预测函数来看

从简单来看，我们也可以把逻辑回归函数表达成不用矩阵的形式：