1.在吴恩达的CS229的讲义的第四页直接给出参数迭代公式
2.在UFLDL中反向传导算法一节也是直接给出的公式
为什么损失函数沿着梯度下降体现成参数更新的时候是这样的?中间是如何推导的?
答:
这里我相信题主对梯度下降法的整体理念是认可的,只是不清楚这个更新公式的实质含义。
首先这个梯度更新公式确实不是推导而是创造出来的,所以只能从概念上去理解。
设想下有个函数,你的目标是:找到一个参数 使得它的值
最小。但它很复杂,你无法找到这个参数的解析解,所以你希望通过梯度下降法去猜这个参数。 问题是怎么猜?
对于多数有连续性的函数来说,显然不可能把每个 都试一遍。所以只能先随机取一个
,然后看看怎么调整它最有可能使得
变小。把这个过程重复n遍,自然最后得到的
的估值会越来越小。
现在问题是怎么调整?既然要调整,肯定是基于当前我们拥有的那个参数 ,所以有了:
那现在问题是每次更新的时候这个 应该取什么值?
我们知道关于某变量的(偏)导数的概念是指当(仅仅)该变量往正向的变化量趋向于0时的其函数值变化量的极限。 所以现在若求 关于
的导数,得到一个值比如:5,那就说明若现在我们把
往正向(即增大)一点点,
的值会变大,但不一定是正好+5。同理若现在导数是-5,那么把
增大一点点
值会变小。 这里我们发现不管导数值
是正的还是负的(正负即导数的方向),对于
来说,
的最终方向(即最终的正负号,决定是增(+)还是减(-))一定是能将Y值变小的方向(除非导数为0)。所以有了:
但是说到底, 的绝对值只是个关于Y的变化率,本质上和
没关系。所以为了抹去
在幅度上对
的影响,需要一个学习率来控制:
。所以有了:
而这里的 就是你1式中的那个偏导,而对于2式,就是有多少个参数,就有多少个不同的
。
现在分析在梯度下降法中最常听到的一句话:“梯度下降法就是朝着梯度的反方向迭代地调整参数直到收敛。” 这里的梯度就是 ,而梯度的反方向就是
的符号方向---梯度实际上是个向量。所以这个角度来说,即使我们只有一个参数需要调整,也可以认为它是个一维的向量。 整个过程你可以想象自己站在一个山坡上,准备走到山脚下(最小值的地方),于是很自然地你会考虑朝着哪个方向走,方向由
的方向给出,而至于一次走多远,由
来控制。 这种方式相信你应该能理解其只能找到局部最小值,而不是全局的。
参考: