机器学习-线性回归

背景

 

机器学习所研究的主要内容，是关于在计算机上从数据中产生模型的算法，即学习算法。有了学习算法，我们把经验数据提供给它，它就能基于这些数据产生模型，在面对新的情况时，模型会给我们提供相应的判断。在本篇文章及其接下来的文章中不对算法做数学上的推断，如果想知道机器学习的数学推导过程，建议学习NG的机器学习算法公开课，参考笔记可以更好地理解。本篇的顺序是按照周志华的机器学习章节展开，对机器学习的各种算法有个大致介绍。

 

 

线性模型

 

线性模型试图学的一个通过属性的线性组合来进行预测的函数，形式简单，易于建模，并且具有很好的解释。收集的数据中，每一个分量，就可以看做一个特征数据。每个特征至少对应一个未知的参数。这样就形成了一个线性模型函数。

 我们用X1，X2..Xn 去描述每一个特征数据，估计函数如下所示：

θ在这儿称为参数，在这的意思是调整每个特征的影响力。为了如果我们令X0 = 1，就可以用向量的方式来表示了：