作者:寒小阳
时间:2016年1月。
出处:http://blog.csdn.net/han_xiaoyang/article/details/50521064
声明:版权所有,转载请联系作者并注明出处
1.训练
在前一节当中我们讨论了神经网络静态的部分:包括神经网络结构、神经元类型、数据部分、损失函数部分等。这个部分我们集中讲讲动态的部分,主要是训练的事情,集中在实际工程实践训练过程中要注意的一些点,如何找到最合适的参数。
1.1 关于梯度检验
之前的博文我们提到过,我们需要比对数值梯度和解析法求得的梯度,实际工程中这个过程非常容易出错,下面提一些小技巧和注意点:
使用中心化公式,这一点我们之前也说过,使用如下的数值梯度计算公式:
d f ( x ) d x = f ( x + h ) − f ( x − h ) 2 h (好的形式) \frac{df(x)}{dx} = \frac{f(x + h) - f(x - h)}{2h} \hspace{0.1in} \text{(好的形式)} dxdf(x)=2hf(x+h)−f(x−h)(好的形式)
而不是
d f ( x ) d x = f ( x + h ) − f ( x ) h (非中心化形式,不要用) \frac{df(x)}{dx} = \frac{f(x + h) - f(x)}{h} \hspace{0.1in} \text{(非中心化形式,不要用)} dxdf(x)=hf(x+h)−f(x)(非中心化形式,不要用)
即使看似上面的形式有着2倍的计算量,但是如果你有兴趣用把公式中的 f ( x + h ) f(x+h) f(x+h)和 f ( x − h ) f(x-h) f(x−h)做泰勒展开的话,你会发现上面公式出错率大概是 O ( h 2 ) O(h^2) O(h2)级别的,而下面公式则是 O ( h ) O(h) O(h),注意到h
是很小的数,因此显然上面的公式要精准得多。
使用相对误差做比较,这是实际工程中需要提到的另外一点,在我们得到数值梯度 f