线性回归Linear Regression-模型和参数求解

训练集共m个样本，第i个样本$(x^{(i)},y^{(i)}) , x^{(i)}=(x_1^{(i)},x_2^{(i)},...,x_d^{(i)})^T$，即有d维特征。

线性回归模型

$h(x)=w_1x_1+w_2x_2+...+w_dx_d+b$

1.用向量表示

• 假设函数　　$Hypothesis：h(x)=w^Tx+b$
• 参数　　　　$Parameters : w,b$
• 损失函数　　$Cost Function : J(w,b)={1\over 2m}\sum _{i=1}^m(h(x^{(i)})-y^{(i)})^2$
• 优化目标　　$Goal : minimize\; J(w,b)$

2.参数求解方法：

2.1Gradient Descent 梯度下降

• 步骤：

  1.初始化$w_1,w_2...,w_d,b$
  2.同步更新所有参数，使$J(w,b)$不断减小。（$\alpha$是学习率）
  　　　　　$w_j:=w_j-\alpha \frac{\partial}{\partial w_j}J(w,b)\;(j=1,...,d)$
  　　　　　 b:=b−α∂