【视频】R语言逻辑回归（Logistic回归）模型分类预测病人冠心病风险|数据分享...

原文链接：http://tecdat.cn/?p=22410 

本文介绍了逻辑回归并在R语言中用逻辑回归（Logistic回归）模型分类预测病人冠心病风险数据（点击文末“阅读原文”获取完整代码数据）。

逻辑回归是机器学习借用的另一种统计分析方法。当我们的因变量是二分或二元时使用它。

视频：R语言逻辑回归（Logistic回归）模型分类预测病人冠心病风险

它只是表示一个只有 2 个输出的变量，例如，预测抛硬币（正面/反面）的情况。结果是二进制的：如果硬币是正面，则为 1，如果硬币为反面，则为 0。这种回归技术类似于线性回归，可用于预测分类问题的概率。

为什么我们使用逻辑回归而不是线性回归？

我们现在知道它仅在我们的因变量是二元的而在线性回归中该因变量是连续时使用。

现在，如果我们使用线性回归来找到旨在最小化预测值和实际值之间距离的最佳拟合线，这条线将是这样的：

这里的阈值为 0.5，这意味着如果 h(x) 的值大于 0.5，则我们预测为恶性肿瘤（1），如果小于 0.5，则我们预测为良性肿瘤（0）。

这里一切似乎都很好，但现在让我们稍微改变一下，我们在数据集中添加一些异常值，现在这条最佳拟合线将移动到该点。像这样：

你看到这里有什么问题吗？蓝线代表新阈值，此处可能为 0.2。为了保持我们的预测正确，我们不得不降低我们的阈值。因此，我们可以说线性回归容易出现异常值。现在如果预测值大于 0.2，那么只有这个回归会给出正确的输出。

线性回归的另一个问题是预测值可能超出范围。我们知道概率可以在 0 和 1 之间，但是如果我们使用线性回归，这个概率可能会超过 1 或低于 0。

Sigmoid函数

为此，我们最好有一个函数将任何实际值映射到 0 和 1 之间的区间内的值。您一定想知道逻辑回归如何将线性回归的输出压缩在 0 和 1 之间。

Sigmoid 函数是一种数学函数，用于将预测值映射到概率。该函数能够将任何实际值映射到 0 和 1 范围内的另一个值。 

规则是逻辑回归的值必须在 0 和 1 之间。由于它不能超过值 1 的限制，在图形上它会形成一条“S”形的曲线。这是识别 Sigmoid 函数或逻辑函数的简单方法。

关于逻辑回归，使用的概念是阈值。阈值有助于定义 0 或 1 的概率。例如，高于阈值的值趋于 1，低于阈值的值趋于 0。

这就是所谓的 sigmoid 函数，它是这样定义的：

最远离 0 的 x值 映射到接近 0 或接近 1 的 y值。x接近 0 的值  将是我们算法中概率的一个很好的近似值。然后我们可以选择一个阈值并将概率转换为 0 或 1 预测。

Sigmoid 是逻辑回归的激活函数。

成本函数

成本函数是用于计算误差的数学公式，它是我们的预测值和实际值之间的差异。它只是衡量模型在估计 x 和 y 之间关系的能力方面的错误程度。当我们考虑成本函数时，首先想到的是经典的平方误差函数。 

m  - 示例数，

x(i)  - 第i个示例 的特征向量 ，

y(i)  - 第i个示例 的实际值 ，

θ   - 参数向量。 

如果我们有一个线性激活函数h θ (x) 那就没问题了。但是使用我们的新 sigmoid 函数，我们没有平方误差的正二阶导数。这意味着它是非凸函数。我们不想陷入局部最优，因此我们定义了一个新的成本函数： 

这称为交叉熵成本。如果您仔细观察，您可能会注意到，当预测值接近实际值时，0 和 1 实际值的成本都将接近于零。