统计学习方法(第2版 P439~P440) 梯度下降法
1、方向导数和梯度是什么关系?假设函数连续可微;1.1)在平面二维中,y=f(x)导数即某个点的切线,切线没有方向性的说法;1.2)在三维中,z=f(x,y)中过某个点有无数条切线,每一条切线都有一个方向了,这个方向就是方向导数的方向向量;不同的方向导数大小不一样,最大的方向导数就是梯度;在梯度下降法中通常用一个凸函数进行数形结合,好处是理解起来更加生动形象;(z=f(x,y)凸函数可以用山凹进行示意,盆地也挺形象,实在不行就理解为家里炒菜的锅的样子的函数图像)2、梯度下降是迭代算.
原创
2020-12-26 00:15:19 ·
167 阅读 ·
0 评论