4.1_交叉熵代价函数

参数的调整目标：离目标越远，参数变化的梯度应该越大

• 二次代价函数（quadratic cost）

$$c=\frac{1}{2n}[\sum (y-a{)}^2]$$
$\frac{\partial c}{\partial w}$ 与$\frac{\partial c}{\partial b}$ 都与$\sigma (z)$的导数正相关

• 交叉熵代价函数（cross-entropy）

$$c=-\frac{1}{n}\sum _x[ylna+(1-y)ln(1-a)]$$
其中，a是输出，x是样本，y是实际值
$$a=\sigma (z),z=\sum w_j\ast x_j+b,{\sigma }^{\prime }(z)=\sigma (z)(1-\sigma (z))$$
则：
$$\frac{\partial c}{\partial w_j}=-\frac{1}{n}\sum _x(\frac{y}{\sigma (z)}-\frac{1-y}{1-\sigma (z)})\frac{\partial \sigma }{\partial w_j}=\frac{1}{n}\sum _x{x}_j(\sigma (z)-y)$$
$$\frac{\partial c}{\partial b}=\frac{1}{n}\sum _x(\sigma (z)-y)$$
也就是说：$\frac{\partial c}{\partial w_j}$与$\frac{\partial c}{\partial b}$只和$\sigma (z)-y$有关，即误差越大，参数调整越快，符合预期的目标。

• 对数似然代价函数（log-likelihood cost）

输出层神经元的激活函数是sigmoid函数，采用交叉熵代价函数

loss = tf.reduce_mean(tf.nn.sigmoid_cross_entropy_with_logits(labels=,logits=))

输出层神经元的激活函数是softmax函数，采用对数释然代价函数

loss = tf.reduce_mean(tf.nn.softmax_cross_entropy_with_logits(labels=,logits=))

结论：

若输出神经元的激活函数是线性的，使用二次代价函数；
若输出神经元的激活函数是s型的，适合用交叉熵代价函数。