Tensorflow交叉熵的代码实现

一、基础计算

import tensorflow as tf
import numpy as np

sess=tf.Session()
#logits代表wx+b的输出，并没有进行softmax（因为softmax后是一个和为1的概率）
logits = np.array([[1, 2, 7],
                   [3, 5, 2],
                   [6, 1, 3],
                   [8, 2, 0],
                   [3, 6, 1]], dtype=np.float32)
#labels是[2,1,0,0,1]的ont-hot编码形式
labels = np.array([[0, 0, 1],
                   [0, 1, 0],
                   [1, 0, 0],
                   [1, 0, 0],
                   [0, 1, 0]], dtype=np.float32)

# 公式计算，-np.log(y*softmax_out)
# y=n*c,softmax_out是n*c，相当于将每个样本softmax的c个特征中最大的取出来，再取负就是求最小
softmax_out=tf.nn.softmax(logits)
cross_entropy1 = -tf.reduce_sum(labels * tf.log(softmax_out), axis=1)   #对应元素相乘，非矩阵乘法
print (sess.run(softmax_out))
"""
[[2.4561151e-03 6.6764127e-03 9.9086750e-01]
 [1.1419519e-01 8.4379470e-01 4.2010065e-02]