调优
kyang624823
这个作者很懒,什么都没留下…
展开
-
梯度检验
0. 引言对于一个函数来说,通常有两种计算梯度的方式:数值梯度(numerical gradient);解析梯度(analytic gradient);数值梯度的优点是容易编程实现,不要求函数可微,然而,数值梯度缺点很明显,通常是近似解,同时求解速度很慢,因此在设计机器学习目标函数时,通常设计成可微的函数,可以快速地求解其解析梯度,同时这个梯度是确切解。1. 为何进转载 2017-12-26 11:02:16 · 6922 阅读 · 0 评论 -
使用交叉熵作为代价函数
二次代价函数(quadratic cost):其中,C表示代价函数,x表示样本,y表示实际值,a表示输出值,n表示样本的总数。例如:假如我们使用梯度下降法(Gradient descent)来调整权值参数的大小,权值w和偏置b的梯度推导如下:其中,z表示神经元的输入。w和b的梯度跟激活函数的梯度成正比,激活函数的梯度越大,转载 2017-12-26 20:46:18 · 1524 阅读 · 0 评论