神经网络学习算法中梯度下降简洁证明

$已知光滑函数C(V_1,V_2)，\parallel △V\parallel =\epsilon 是一个趋近于0正数，求证使得函数△C尽可能小时，则△V=-\eta ▽C，其中\eta =\epsilon /\parallel ▽C\parallel 。$

证明：
$\because △C=▽C△V=\parallel ▽C\parallel \ast \parallel △V\parallel cos{\theta }_{cv},其中cos{\theta }_{cv}\in [-1,1]$

$\therefore 当△C尽可能小时，cos{\theta }_{cv}=-1，此时△C=\parallel ▽C\parallel \ast \parallel △V\parallel =\parallel ▽C\parallel \ast \epsilon \ast -1$

$又\because 由题意得△V=-\eta ▽C$

$\therefore △C=\parallel ▽C\parallel \ast \epsilon \ast -1=-\eta \ast \parallel ▽C{\parallel }^2$

$即\eta =\epsilon /\parallel ▽C\parallel$

在梯度下降中$\eta$为学习率，此时更新规则为$V=V+△=V=V-\eta ▽C$