吴恩达机器学习第二章学习笔记

这章通过一个预测房价的例子，介绍了假设函数、代价函数、梯度下降的基本概念，并着重讲了代价函数和梯度下降的理解

假设函数

• 通过已知的特征作为变量，预测标签或者目标值（不知道这个该叫啥，姑且就先叫目标值吧）的函数；
  例如：
  
  上图为预测奖预测房价例子中的假设函数，x为变量，其他两个参数都是常要拟合的常量

代价函数

• 代价函数是用来表示预测值与真实值偏差的函数
• 例如：
  
• 上图为预测房价代价函数，这里使用的代价函数是求的预测值和真实值的平方差

梯度下降

• 梯度下降见文思意，这里的梯度我觉得可以理解为代价函数的偏导数，意思就是根据代价函数的梯度方向最快地减少代价函数的值，这样预测出来的代价函数才会最小，偏差相应地也就更小
• 例如：下图为一个一般二元函数的图像
  
• 如上图为了使得代价函数的值最小，根据一点寻找梯度下降的方向向下走，直到局部最优
• 具体的公式：
• 这里就是不断地分别对θ0和θ1求：θ = θ-α*对应的偏导数，到达局部最优点，其中α是步长，这可能不是那么好理解，这里用θ1的偏导函数来举例：
• 
• 局部最优点在θm，当θ=θs时，偏导k小于0，θ运算一次增加；
• 当θ=θb时，θ运算一次减少
• 经过运算在一点一点向θ0靠近直到局部最优解，函数是一个连续的变化，越接近局部最优解，偏导绝对值越小，对应的改变率越小。
• 当两个θ都局部最优的时候就找到了使代价函数局部最优的θ1和θ2的解
• 这里代价函数采用方差的方式表示，局部最优解就是全局最优，上述代价函数的图像是这样的（像一个碗底）：
•