线性回归

  线性回归，用高中课本知识来说就是能够用一个直线较为精确地描述数据之间的关系. 这样当出现新的数据的时候，就能够预测出一个简单的值。(虽然线性模型在实际项目中几乎不会单独出现,但它在整个机器学习中举足轻重.它是很多复杂模型的基础，譬如逻辑回归，神经网络，支持向量机等）。
  线性模型的基本形式是：给定由d个特征描述的示例? = (x1; x2; … ; xd)，其中，xi是?在第i个特征上的取值，线性模型试图学得一个通过特征的线性组合来进行预测的函数，即
$$f(x)=w_1\ast x_1+w_2\ast x_2+......+a_n\ast x_n+b$$
令$$b=w_0\ast x_0$$ 其中$$x_0=1$$因此,f(x)可以表达成如下的形式: $$f(x)=W^T\ast X$$
  对于上述模型的参数W该如何求解呢？首先我们先定义出其损失函数即目标函数如下：
$$min(J(w_0,w_1,.....,w_n)=\frac{1}{2m}\sum _{i=1}^m(f_w(x^{(i)})-y^{(i)}{)}^2$$
  要使得目标函数最小，有两种求解方式：（1）最小二乘法 （2）梯度下降

（1）最小二乘与线性回归：
  令损失函数对参数W求偏导，并令其等于0，求得：
$$W=(X^{T}X{)}^{-1}{X}^{T}Y$$
(2) 梯度下降：
step1:初始化参数W
step2:
  repeat: $$w_j:=w_i-\alpha \frac{1}{m}\sum (f_w(x^{(i)})-y^{(i)})x_j^{(i)}$$

关于最小二乘，梯度下降的具体推导过程请看本博客中的相关章节。