机器学习（周志华）学习笔记二：“回归”问题的进一步探讨

前文

• 学习笔记一

一、是什么让我再次回到这个问题

我查阅了很多网上类似的学习笔记，发现大家都在完成习题3.3后，绘制了下面这张图来验证自己的程序。

• 这张图，以“密度”为横坐标，“含糖量”为纵坐标。同时，数据集中的数据被“密度”、“含糖量”两个坐标唯一确定。也就是说，每一条数据都是这个平面上的一个点。其中，红色代表“正例”，蓝色代表“反例”，黄线由“对率回归”算法确定的w、b值唯一确定。
• 对这张图的解释如下：“对率回归”求得了一个能够将正例、反例分割的“超平面”。因为在本项目中，数据点均是二维的，因此这个“超平面”就退化为了一条线。可知，在这个“超平面”的上方，我们认为是“正例”；在“超平面”的下方，我们认为是“反例”。
• 但是，上面的解释中在哪里体现了“回归”呢？

回到推导的起点

最初，我们试图利用“单位阶跃函数”实现二分类任务。由于单位阶跃函数的性质并不友好，我们采用“对数几率函数”近似。当分类结