机器学习基础教程第一章

读后感

第一章是一个摘要性的故事梗概，故事的主角是属性变量和相应变量之间的对应关系。这个关系 f(x) 是不确定的，我们可知道的只有各别数据对，运用它们如何得知两者的关系呢？这便是问题的产生了。

对于这样概括属性变量与依赖变量之间关系的概念，我们称之为模型。建立模型的好处是即可以分析概括，又可以对潜在的未来进行预测。

那么像函数一样，我们第一个会接触到的模型是什么？ 线性模型就是属性和相应之间是类似线性的关系。

线性模型的构建便是 y = mx + c（m, c 为常量）m 和 c实际上都是为了增加我们线性模型灵活性而额外增加的参数，最基本的线性关系我们都知道是y ＝ x，即二者正相关。

在书上举出的关于短跑成绩与年份这一组预测量中，时间t和年份x并不是单单正相关。这是我们主观上从零散到点图上获得的信息。

但是对于具体的m，c应该分别取什么样的数值，这并不是直观可以解决的问题，牵扯到我们认为怎样的模型，是一个好的模型。

设我们预测的模型是

t ＝ mx ＋c 

通常我们用真实值与预测值之间的平方差来衡量预测的精确性。我们称之为损失函数Ln()

,

而对于整个数据集上，则选择了平均损失来衡量全局的精确性

这样一来，寻找最合适参数m和c的任务实际上转变为了寻找令上式最小值时相对应的m和c的取值。平方损失最小化是最小二乘误差法的基础。

通过对损失函数分别求导数，我们可以获得相应的参数解。

在上述得到的简单线性模型拟合小数据集的过程中，这个方式是有局限性的，我们的属性变量只是一个单一的变量，或者说仅仅是一个单独的数字，而实际上，一个数字是不足以让我们描述更加复杂的情况的，我们可能需要的是一个属性的集合来代替单个的数字。

同样是短跑问题，仅仅用年份作为属性变量从逻辑上便缺乏说服力，我们需要的可能是奥运会年份与每个运动员个人最好成绩，如用s1，s2，s3……一直到s8表示运动员在8个赛道上分别曾经达到的最好成绩，那么我们所需要的线性模型可能更加复杂，如下

幸运的是，我们有向量和矩阵帮助我们。

这里我们将矩阵向量的基础略过。继续在向量条件下的问题讨论。

损失可以表示为：

对上式进行w偏微分，可以得到

最后得到矩阵公式为：

再将该式展开后，发现对各w参数的计算仍然符合之前单独数值计算的情况。

现在回过头来看，我们用线性函数对奥运会年份时间与奥运会100米短跑成绩间建立模型，但是主观上我们知道这是很受局限性的。它意味着按照这样的趋势，这样的递减会一直继续下去，其最后所需时间可能是负值。