吴恩达机器学习 目标18天完成 8.12 Day2

学习笔记

4.3 理解梯度下降

*cost function的导数用于决定我们往什么方向调整w
当我们的w初始值在左侧的时候，此时J(w)的导数值是负数，那么根据w=w-alpha(negative number)，w会增加，从而接近cost function的最小值
4.4 学习率 learning rate
1.当我们越来越接近最小成本函数cost function的值的时候，对应的derivative的值也会越来越小，从而我们一步一步接近最小值。而alpha也就是学习率learning rate的值是不用减少的，当derivative=0的时候，对应的方程w=w-alpha0，从而w不变化，我们也得到了cost function的局部最小值。

4.5 用于线性回归的梯度下降
1.相关算法推导

2.但梯度下降可以获取的是局部最小值并非一定就是全局最小值，对于碗型的函数，一定能够获取到全局最小值。而对于山坡函数，则可能会有很多局部最小值
4.6 运行梯度下降

1.批量梯度下降，batch gradient descent，每次梯度下降的过程都是用所有的训练集数据

Labs

• C1_W1_Lab01_Python_Jupyter_Soln
• C1_W1_Lab02_Course_Preview_Soln

numpy

学习到这里的Labs突然发现自己numpy等知识还不够充分，因此我又去补了一些课，北理-Python数据分析与展示-Numpy、Matplotlib、Pandas，在我的吴恩达机器学习 目标18天完成专栏中也可以看到