若要预测弯曲硬币正面朝上的概率,可以用什么模型呢?我们可能会使用之前用过的线性回归,但会出现一些奇怪的情况,例如——如果我们要预测的是一枚新硬币,且其质量前所未有的重又或者硬币的弯曲程度非常大,会怎么样呢?尤其是我们将预测的概率相乘,或使用这些概率来创建预期值时,我们预测的结果可能不在0~1范围内,这样的概率值就是不正常的,说明出问题了。
在首次尝试时,我们可以为预测值设置上限,从而避开离群值;但现在我们在模型中引入了偏差,就不能这样做了。正确的做法应该是——找出一种略微不同的损失函数和预测方法——逻辑回归,这样得出的概率便能自然地解析为0~1之间的值,而且不会超出这个范围。
逻辑回归是一种实用的预测方法,它能帮助我们获取校准良好的概率。我们可以将这些概率当做实际概率,还可以将它们用于各种事项(如分类——判断某email是否是垃圾邮件)。
逻辑回归的工作原理如下:
我们对线性模型应用S型函数。一般来说,S函数可以提供0~1之间的有界值(因为有渐近线的存在,因此得到的值不会是0和1)。
在训练时,因为平方损失不太适合这种情况,所以我们使用另一种损失函数——对数损失函数。仔细观察它对应的公式会发现,它看起来很像Shannon信息论中的熵测量。现在不需要十分了解这方面的数学知识就能看懂该图解了——越接近其中一个条形,损失就会变得越大,而且变化速度非常惊人——我们再次看到了渐近线的作用。
在模型学习方面,渐近线非常重要。因为有渐近线,所以我们要把正则化纳入到学习中,否则,在数据集上模型可能会更拟合数据,让损失接近0,从而产生过拟合。
L2正则化是一种实用的正则化方法,它可以确保我们的权值不会严重失衡。
线性逻辑回归。线性逻辑回归颇受欢迎,它的速度非常快,能够非常高效地进行训练和预测,并能很好地应用在庞大的数据,或用于延时极短的预测。如果我们需要使用非线性逻辑回归,则可以通过添加特征交叉乘积来实现