神经网络与深度学习入门记录002——基础网络优化

在基础网络上进行优化

基础网络：
1、二次代价函数：

w-权重
b-偏置
y(x)-期望输出
a-实际输出
2、随机梯度下降：

w’权重更新
b’偏置更新
3、反向传播算法：

优化网络：
1、交叉熵代价函数

由于sigmoid_prime(z)在0和1附近的值很小，导致|a-y|较大时学习变得缓慢反而较小。将二次代价函数替换为交叉熵函数
2、基于交叉熵函数的反向传播公式：


偏导中不含sigmoid_prime(z)，避免了学习缓慢的问题。
3、输出层柔性最大值函数

输出层用softma(z)替代sigmoid(z)，使得输出层∑a=1，形成概率分布
4、输出层对数似然函数

对数似然函数与柔性最大值函数结合，解决输出层学习缓慢问题，同时使得输出激活值解释为概率