[机器学习笔记]一:Linear Regression（线性回归）

最近开始进行机器学习（目前是个noob），学习了很长一段时间后发现，看了后面忘了前面，于是决定做一个学习笔记
本专题将顺着斯坦福公开课的讲义一路写下去，可能不会有太多的个人见解，可能更像是讲义中知识点的概括，文章风格可能会带有比较浓厚的个人风格且文笔较烂，而且大概率会出现错误，如果有大手子见到了这篇博客（尽管我认为不会有人看我的博客），还请在评论中斧正

下面进入正题：

1. 简述

众所周知，房价会受到面积、房间数量的影响，那么这两个参数对房价的影响是怎样的呢？

对于这个问题，我们假设面积和房间数量为x，其中x是一个二元对，房价为y，那么这个问题，就是找到一个h，使$h(x)=y$
当然，样本可能有多个，而且实际的参数数量也不会是面积和房间数量两个，因此我们记$x{^{(i)}_j}$为第i个样本的第j个参数
并且我们假设h的形式为

$$h{_{\theta}}(x) = \sum{^n_{i=0}} {\theta_{i}x_{i}}$$
其中 $x_{0}$的值为1
那么h可以化简为
$$h(x) = \theta^{T}x$$
接着，我们定义代价函数
$$J(\theta) = \frac {1} {2} \sum{^{m}_{i=0}} (h{_{\theta}}(x^{(i)}) - y^{(i)})^{2}$$
其中x为向量，y为实数
显然， $J(\theta)$ 的值越小，h(x)就越符合条件

2. LMS algorithm(最小均方算法)

为了求出$J(\theta)$ 的最小值 ，我们需要使用梯度下降的方法，规则为

$$\theta_j = \theta_j - \alpha\frac{∂}{∂\theta_j} J(\theta_j)$$
其 $\alpha$ 为学习速率
将 J(θ)代入其