机器学习（1）多元线性回归

概述

线性回归是一个典型的监督学习问题，它常常被用来解决连续值的预测问题。我们通常需要给出一个训练集，训练集中包含已知的目的数据，同时还有与该预测可能相关的特征。
一个简单的一元线性回归的示例是：
我们能否给出房屋价格与房屋面积的关系预测？（或者给出当房屋面积为某个值时，房价的一个预测）
其中我们要给出一个训练集，训练集中包含多个房屋面积与对应房屋价格的真实数据。

符号约定与术语解释

术语解释

• 特征：在本例中，房屋的面积、房屋的建筑年龄等一些与房屋价格可能相关的都是特征。
• 特征向量：我们通常将同一个对象的特征数据使用一个特征向量来表示，该特征向量的分量都是该对象的一个特征。
• 预测函数：我们想要得到的有关输入与输出的映射关系。
• 代价函数：通常我们需要一种手段来衡量我们预测的好坏。我们一般使用一个代价函数来量化拟合与实际值的偏离程度。

符号约定

• $x_i$用来表示第i个特征，$x^{(i)}$用来表示第i个输入的特征向量，同样的$x_j^{(i)}$表示第i个输入的第j个特征值。
• 输出向量我们用$y$来表示，其中$y^{(i)}$代表第i个输入向量对应的输出。
• 预测函数我们表示为：
  $$h_{\theta }(x)={\theta }_0+{\theta }_1{x}_1+...+{\theta }_n{x}_n={\theta }^{T}x$$
  这表示预测函数的输入向量$x$有n个分量，也即n个特征。
• 代价函数我们表示为：$J(\theta )$

代价函数

代价函数是衡量预测函数给出的预测值与实际值之间的偏离程度。
一个常用的代价函数是：
$$J(\theta )=\frac{1}{2m}\sum _{i=1}^m(h_{\theta }(x^{(i)})-y^{(i)}{)}^2$$
值得说明的是：这里的m指的是训练集中样本的个数，这里的$\frac{1}{2}$是为了与求导时平方带来的2抵消。

目的

我们的目的是：确定一个预测函数
$$h_{\theta }(x)={\theta }_0$$