预测概率的逻辑回归算法

原创： wk  Refinitiv创新实验室ARGO  10月1日

"本篇文章包含部分数学公式，阅读时间约10分钟"

曾有报道说，性感女神安吉丽娜朱莉因确认携带致癌基因，患乳腺癌概率为87%，所以她选择主动切除乳腺。当时这篇报道给我的震惊在于女神的果断，因为我们常人怀有侥幸心理，不到万不得已绝舍不得给自己来一刀。 不过，如今我们学习机器学习，那视角就得小小切换一下：女神这 87%的患病概率是怎么计算得来的？如果以机器学习方法来预测，该选用什么样的算法？ 说到概率预测，必然免不了提及今天要介绍的逻辑回归算法。而事实上，逻辑回归算法在医疗健康领域使用的确十分广泛。

以一个预测心脏病的例子来开始，假设我们收集了以下数据（事实上，我们应该搜集的正反例以及数据维度要比下图所示的多很多。且这个例子也以心理学中A型人格的发现闻名）

 

通过这些数据，建立一个逻辑回归算法预测模型。模型在通过学习完以上数据后，就能对某个未知心脏病的人员进行概率预测。比如，老张的各项指数如下

 

模型在输入老张的各项参数以后，将预测出: 老张同志，心脏病可能性75%。是不是听上去还有点靠谱？ 那我们就来看看这个算法是什么原理，如何训练并使用python实战吧。

一  初识逻辑回归

逻辑回归是一种比较简单的算法。一般认为， 逻辑回归模型=线性回归+Sigmoid函数。 所以，我们先从线性回归和Sigmoid函数说起，当两者组合，就得到了逻辑回归的预测函数。

a 线性回归

先看最简单的单变量线性回归预测函数，对于任意输入的变量X， 假定Y输出符合公式如下:

这就是我们所熟知的针对单个变量的线性回归模型的预测函数。如果将单变量模型扩展到多变量模型， 就得到多变量的线性模型预测函数：

通过训练样本训练出其中的参数和b,将得到一个线性回归模型。但线性回归缺点比较明显，比如，不适宜用于二分类问题。

那怎么样让线性回归应用于二分类问题呢？ 由此，Sigmoid函数隆重登场。

b Sigmoid函数

Sigmoid函数在机器学习中应用广泛，除了逻辑回归（在逻辑回归里，它叫logistic函数）以外，它还用作神经网络的激发函数。它的数学表示如下

Sigmoi