2022吴恩达机器学习（Deep learning）课程对应笔记10：梯度下降1

2022吴恩达机器学习（Deep learning）课程对应笔记10

梯度下降1

更新时间：2023/03/20

概述

上一节讲到的例子，是我们试了很多个$w和b$的值，最终找到了最小的$J$，这种方法是非常麻烦并且不一定每次都能找到使代价函数最小的那个$w和b$的值。我们期望能够有一种固定的方法帮助我们找到最合适的$w和b$的值，从而使得代价函数$J$的值最小。这种方法我们把它称为梯度下降。

如上图，梯度下降是一种可以用来优化任何$f$的算法，不仅仅是线性回归模型。梯度下降的大致做法如下：

• $w和b$是初始时随机的两个值，可以设置为$w=0，b=0$
• 持续改变$w和b$的值以减少$J(w,b)$
• 直到结果位于最小值或者接近最小值。

上图是一个经典的例子，假设梯度下降的过程是你从山顶下山的过程，你的目的是尽可能的快的下降到海拔最低的地方。你会一步一步的选择当前步可以下降得最快的方向，每一步都如此，直到你下到山低，或山底附近。当然如上图，你可能下降到一个局部最小值，但是你会认为这已经是山低了。