线性回归 (Linear Regression)

机器学习笔记——总贴

1. 线性回归

1.1 引言

给定数据集 { ( x 1 , y 1 ) , ( x 2 , y 2 ) , ⋯   , ( x n , y n ) } \{(x_1,y_1),(x_2,y_2),\cdots,(x_n,y_n)\} { (x1​,y1​),(x2​,y2​),⋯,(xn​,yn​)}，线性回归试图学得一个线性模型以尽可能准确地预测实值输出标记。其中，我们称该数据集中的 $x_i$ 为输入（特征），$y_i$ 为输出（标记）。下面的波士顿房价数据集[1]就是一个简单的例子：

面积（平方英尺）	卧室数量	价格（千美元）
2104	3	400
1416	2	232
1534	2	315
852	1	178

在这个例子中，每一个输入拥有两个特征：面积与卧室数量，$x_1=[2104,3{]}^T$，$x_2=[1416,2{]}^T$，$\cdots$；输出为房屋价格，$y_1=400$，$y_2=232$，$\cdots$

另外，我们在此约定另外几个符号：

• $m$：数据集中有 $m$ 组数据，即训练数据的个数；
• $n$：特征的数量，也即向量 $x_i$ 的维数；
• $\theta$：我们需要学习的模型中的参数，它的意义是每一个特征在影响输出时的权重；
• $(x,y)$：训练数据集；
• $\left(x^{(i)},y^{(i)}\right)$：第 $i$ 组训练数据。

1.2 线性回归的假设 (hypothesis)

线性回归试图学得一个由输入的各个特征的线性组合表示的模型来尽可能准确地预测实值输出标记：
$$h_{\theta }(x)={\theta }_o+{\theta }_1{x}_1+\cdots +{\theta }_n{x}_n\text{\hspace{1em}(1)}$$
其中 $\theta =[{\theta }_0,{\theta }_1,\cdots ,{\theta }_n{]}^T$，$h_{\theta }(x)$ 为假设的记号。我们的目标就是找到一组 $\theta$ 值，使得 $h_{\theta }(x)$ 的值尽可能接近实际的输出值 $y$。

1.3 代价函数 (cost function)

代价函数，有时也被称为平方误差函数、平方误差代价函数（实际上是两种最常用的代价函数）。在实际问题中，我们想要尽量的减少预测值和实际值的平方差，即使得平方误差代价函数的值最小。

前面我们说到，我们希望让 $h_{\theta }(x)$ 的值尽可能接近实际的输出值 $y$，即让 ${\left(h_{\theta }(x)-y\right)}^2$ 的值尽可能小。现在我们来定义这个问题的代价函数：
$$J(\theta )=\frac{1}{2}\sum _{i=1}^m{\left(h_{\theta }(x^{(i)})-y^{(i)}\right)}^2\text{\hspace{1em}(2)}$$

现在我们的目标转化为了找到一组 $\theta$ 的值，使得