代价函数

线性回归的代价函数

1.损失函数（cost function）

2.误差平方和函数 的目标（square error function）

3.简化

• 寻找最佳拟合直线的目标

4.算法

4.1 梯度下降算法（Gradient descent algorithm）

能够自动找出使代价函数J 取最小值的参数 ${\Theta }_0$ 和 ${\Theta }_1$ 来

• 重复直到收敛
  repeat until convergence{
  ${\Theta }_j$ := ${\Theta }_j$ - $\alpha$$\frac{\partial J({\Theta }_0,{\Theta }_1)}{\partial {\Theta }_j}$ (for j=0 and j = 1)
  }

4.1.1 $\alpha$ 是学习速率

• ·学习率
  如果 $\alpha$太小，比喻为迈着小碎步下山，结果是要走很多步才能到达最低点；如果 $\alpha$太大，可能会越过最低点

---

• 举例 ：对参数 ${\Theta }_0$ 和 ${\Theta }_1$不断重复下面操作，且${\Theta }_0$ 和 ${\Theta }_1$同时更新，直到收敛
  正确操作：
  temp0 := ${\Theta }_0$ - $\alpha$$\frac{\partial J({\Theta }_0,{\Theta }_1)}{\partial {\Theta }_0}$
  temp1 := ${\Theta }_1$ - $\alpha$$\frac{\partial J({\Theta }_0,{\Theta }_1)}{\partial {\Theta }_1}$
  ${\Theta }_0$ := temp0
  ${\Theta }_1$ := temp1
  错误操作：
  temp0 := ${\Theta }_0$ - $\alpha$$\frac{\partial J({\Theta }_0,{\Theta }_1)}{\partial {\Theta }_0}$
  ${\Theta }_0$ := temp0
  temp1 := ${\Theta }_1$ - $\alpha$$\frac{\partial J({\Theta }_0,{\Theta }_1)}{\partial {\Theta }_1}$
  ${\Theta }_1$ := temp1

---

5.矩阵

5.1矩阵乘法

• 可以将大量运算打包到一次矩阵的乘法运算中

利用矩阵相乘的方法在计算机中任何语言都可以很快的实现，可以简化代码

• 多个特征的处理
  

5.2 奇异矩阵

没有逆矩阵的矩阵可以相成非常接近0，逆矩阵不存在的矩阵的专有名词是奇异矩阵或则叫退化矩阵