学习《机器学习100天》第28天 梯度下降法，神经网络如何学习 | 深度学习，第2章

github上的项目，跟着一起学习

项目地址    https://github.com/MLEveryday/100-Days-Of-ML-Code

Youtube频道3Blue1Brown关于神经网络的第2部分，这个视频用有趣的方式解释了梯度下降法。推荐必须观看169.

B站视频在这里。（https://www.bilibili.com/video/av16144388）

以下是视频笔记：

神经网络，有一堆输入，一堆权重和偏置，输出。定义一个函数，代表神经网络的权重和偏置有多差。但仅仅告诉电脑它有多糟是不够的，还需要告诉电脑如何改进。

先假设一个一元函数，求最小值，求导=0就行了。但当函数复杂一些，不一定能求出来

一个更灵活的方法：随机选择一个位置，考虑向左还是向右走，函数值会变小。斜率为正，往左走。一直走下去，找到局部最小值。步长和斜率成比例，防止调过头。

函数的梯度，函数增长最抖的方向

按照负梯度的倍数，不停调整函数输入值的过程，叫梯度下降法。