机器学习笔记——代价函数、梯度下降函数

cost function代价函数

• 以房价问题为例，由房价和房子面积作为特征，hypothesis（预测函数）可以假设为线性方程。
  
• 代价函数本质是为求使hypothesis预测值与真实值差值最小的模型参数。
  
• 预测函数是关于x的函数，而代价函数是关于θ_0,θ_1的函数，图像是三维的。
  
• 代价函数有两个变量 ，我们要判断由哪个方向下降的更快，进而向哪个方向前进，继续迭代，直到求到J(θ_0,θ_1)的最小值，这就需要梯度下降函数。
  
• 当代价函数比较复杂时，起始点的不同就会导致不同的结果。
  
• 梯度下降算法的定义，反复重复，直到最优解，也就是到导数为0（图中指的是偏导）时。
  
• α是学习速率，当α很大时我们是大步跑下去，很小时就是小碎步走，分为两步也就是分矢量，求得最小值后再合并，但当学习速率太大时，就有可能错过最小值，来回跳跃，反而导致效率下降，太小又会浪费时间，因此在梯度下降函数中，学习速率的取值要慎重。