展开参数
梯度检验
代价函数的偏导数近似于:
当是一个向量时,我们需要对偏导数进行检验
通常:
计算出的偏导数存储在矩阵 中。检验时,我们要将该矩阵展开成为向量,同时我们也将矩阵
展开为向量,我们针对每一个
都计算一个近似的梯度值,将这些值存储于一个近似梯度矩阵中,最终将得出的这个矩阵同
进行比较
梯度检验正确后,我们需要将梯度检验关闭,避免占用资源。
随机初始化
将初始化为
区间内的数,如下:
If the dimensions of Theta1 is 10x11, Theta2 is 10x11 and Theta3 is 1x11.
Theta1 = rand(10,11) * (2 * INIT_EPSILON) - INIT_EPSILON;
Theta2 = rand(10,11) * (2 * INIT_EPSILON) - INIT_EPSILON;
Theta3 = rand(1,11) * (2 * INIT_EPSILON) - INIT_EPSILON;