梯度下降法

梯度

梯度实际上就是多变量微分的一般化。
下面这个例子：

我们可以看到，梯度就是分别对每个变量进行微分，然后用逗号分割开，梯度是用<>包括起来，说明梯度其实一个向量/矢量。

• 在单变量的函数中，梯度其实就是函数的微分，代表着函数在某个给定点的切线的斜率
• 在多变量函数中，梯度是一个向量，向量有方向，梯度的方向就指出了函数在给定点的上升最快的方向

梯度的方向是函数在给定点上升最快的方向，那么梯度的反方向就是函数在给定点下降最快的方向，这正是我们所需要的。所以我们只要沿着梯度的方向一直走，就能走到局部的最低点！

参考大佬：梯度下降算法原理讲解——机器学习

https://blog.csdn.net/u011681952/article/details/82285680
https://blog.csdn.net/u011681952/article/details/82289008

反向传播

• https://blog.csdn.net/ft_sunshine/article/details/90221691?ops_request_misc=%257B%2522request%255Fid%2522%253A%2522162444654816780255296476%2522%252C%2522scm%2522%253A%252220140713.130102334…%2522%257D&request_id=162444654816780255296476&biz_id=0&utm_medium=distribute.pc_search_result.none-task-blog-2_alltop_positive~default-1-90221691.first_rank_v2_pc_rank_v29&utm_term=%E5%8F%8D%E5%90%91%E4%BC%A0%E6%92%AD&spm=1018.2226.3001.4187
• https://blog.csdn.net/weixin_38347387/article/details/82936585?ops_request_misc=%257B%2522request%255Fid%2522%253A%2522162444657716780264021008%2522%252C%2522scm%2522%253A%252220140713.130102334.pc%255Fall.%2522%257D&request_id=162444657716780264021008&biz_id=0&utm_medium=distribute.pc_search_result.none-task-blog-2_allfirst_rank_v2~hot_rank-1-82936585.first_rank_v2_pc_rank_v29&utm_term=%E5%8F%8D%E5%90%91%E4%BC%A0%E6%92%AD&spm=1018.2226.3001.4187