机器学习（周志华）学习笔记二：“回归”问题的进一步探讨

前文

• 学习笔记一

一、是什么让我再次回到这个问题

我查阅了很多网上类似的学习笔记，发现大家都在完成习题3.3后，绘制了下面这张图来验证自己的程序。

• 这张图，以“密度”为横坐标，“含糖量”为纵坐标。同时，数据集中的数据被“密度”、“含糖量”两个坐标唯一确定。也就是说，每一条数据都是这个平面上的一个点。其中，红色代表“正例”，蓝色代表“反例”，黄线由“对率回归”算法确定的w、b值唯一确定。
• 对这张图的解释如下：“对率回归”求得了一个能够将正例、反例分割的“超平面”。因为在本项目中，数据点均是二维的，因此这个“超平面”就退化为了一条线。可知，在这个“超平面”的上方，我们认为是“正例”；在“超平面”的下方，我们认为是“反例”。
• 但是，上面的解释中在哪里体现了“回归”呢？

回到推导的起点

最初，我们试图利用“单位阶跃函数”实现二分类任务。由于单位阶跃函数的性质并不友好，我们采用“对数几率函数”近似。当分类结果大于0时，判断为“正例”；分类结果小于0时，判断为“反例”，且越远离坐标零点，上述判断正确的把握越大。 因此，回归的结果应是基本拟合“对数几率函数”的散点分布，如下图：

• 图中，红点对应正例，蓝点对应反例，黄线为标准的对数几率函数。可见，“对率回归”运算的结果完美地拟合到“对数几率函数”，这就是回归的最初想法。
• “线性回归”的目的是试图学得一个线性模型，以尽可能准确地预测实值输出标记。

对比两张图看一看

其实，我们最初是想得到第二张图片。但是我们画出第一张图片，却发现两类数据点似乎被分开了，像是“支持向量机”的运算结果。那么，“线性回归”和“线性核支持向量机”是否存在某种联系呢？
个人认为，当“线性核支持向量机”的“间隔”为0时，“线性核支持向量机”和“线性回归”是等价的。 有疑问的伙伴请参考《机器学习》式（3.13）及图（6.2）