谷歌机器学习速成课程笔记 11（Logistic Regression-逻辑回归）

若要预测弯曲硬币正面朝上的概率，可以用什么模型呢？我们可能会使用之前用过的线性回归，但会出现一些奇怪的情况，例如——如果我们要预测的是一枚新硬币，且其质量前所未有的重又或者硬币的弯曲程度非常大，会怎么样呢？尤其是我们将预测的概率相乘，或使用这些概率来创建预期值时，我们预测的结果可能不在0~1范围内，这样的概率值就是不正常的，说明出问题了。

在首次尝试时，我们可以为预测值设置上限，从而避开离群值；但现在我们在模型中引入了偏差，就不能这样做了。正确的做法应该是——找出一种略微不同的损失函数和预测方法——逻辑回归，这样得出的概率便能自然地解析为0~1之间的值，而且不会超出这个范围。

逻辑回归是一种实用的预测方法，它能帮助我们获取校准良好的概率。我们可以将这些概率当做实际概率，还可以将它们用于各种事项（如分类——判断某email是否是垃圾邮件）。

---

逻辑回归的工作原理如下：

我们对线性模型应用S型函数。一般来说，S函数可以提供0~1之间的有界值（因为有渐近线的存在，因此得到的值不会是0和1）。

在训练时，因为平方损失不太适合这种情况，所以我们使用另一种损失函数——对数损失函数。仔细观察它对应的公式会发现，它看起来很像Shannon信息论中的熵测量。现在不需要十分了解这方面的数学知识就能看懂该图解了——越接近其中一个条形，损失就会变得越大，而且变化速度非常惊人——我们再次看到了渐近线的作用。

---

在模型学习方面，渐近线非常重要。因为有渐近线，所以我们要把正则化纳入到学习中，否则，在数据集上模型可能会更拟合数据，让损失接近0，从而产生过拟合。
L2正则化是一种实用的正则化方法，它可以确保我们的权值不会严重失衡。

---

线性逻辑回归。线性逻辑回归颇受欢迎，它的速度非常快，能够非常高效地进行训练和预测，并能很好地应用在庞大的数据，或用于延时极短的预测。如果我们需要使用非线性逻辑回归，则可以通过添加特征交叉乘积来实现