机器学习（周志华）学习笔记一：第三章习题3.3（对率回归）

一、对《机器学习》内容问题的一点质疑

在《机器学习》第53页，书中应该是存在对行向量（1×N矩阵）、列向量（N×1矩阵）的描述错误问题。如下图：

我在划线位置分别加上了两个转置符号"T"。按照原来书上的写法w和x都是一个行向量，wT则是列向量。因此wT与x的结果应该是一个N×N的矩阵，而并非式（3.1）所写的具体的值。

二、分类的基本思想

我们希望找到一个函数满足下面的条件：

正例	反例
y=1	y=0

单位阶跃函数可以满足上述要求，但是单位阶跃函数并不“线性”，因此只能寻找一个替代函数。对数几率函数恰好可以近似地满足上述要求。
因此，采用对数几率函数分类的基本思想就是——大于0的为正例，小于0的为反例。

三、什么是回归

最初的权重是我们“蒙”的，我们希望计算机能够根据数据集总结出一个靠谱的规律。在每次学习的过程中，计算机都会对这个权重进行一些改变。如果这个数据集中存在一定规律，那么最终的权重就会逐渐“收敛”到一个值，也就是“回归”。

四、代码实现

from numpy import *

data_count = 17
density_list = [0.697, 0.774, 0.634, 0.608, 0.556, 0.403, 0.481, 0.437, 0.666, 0.243, 0.245, 0.343, 0.639, 0.657, 0.360,
                0.593, 0.719]
sugar_list = [0.460, 0.376, 0.264, 0.318,