在基础网络上进行优化
基础网络:
1、二次代价函数:
w-权重
b-偏置
y(x)-期望输出
a-实际输出
2、随机梯度下降:
w’权重更新
b’偏置更新
3、反向传播算法:
优化网络:
1、交叉熵代价函数
由于sigmoid_prime(z)在0和1附近的值很小,导致|a-y|较大时学习变得缓慢反而较小。将二次代价函数替换为交叉熵函数
2、基于交叉熵函数的反向传播公式:
偏导中不含sigmoid_prime(z),避免了学习缓慢的问题。
3、输出层柔性最大值函数
输出层用softma(z)替代sigmoid(z),使得输出层∑a=1,形成概率分布
4、输出层对数似然函数
对数似然函数与柔性最大值函数结合,解决输出层学习缓慢问题,同时使得输出激活值解释为概率