tensorflow当中sigmoid以Softmax在交叉熵cross_entropy_with_logits中计算原理以及代码实证

最新推荐文章于 2021-05-08 10:23:11 发布

幻一

最新推荐文章于 2021-05-08 10:23:11 发布

阅读量984

点赞数

文章标签： tensorflow 计算原理代码实证 sigmoid 交叉熵

本文链接：https://blog.csdn.net/Nqwer_123456/article/details/78459146

版权

本文探讨了在TensorFlow中Sigmoid与Softmax函数在处理二分类和多分类问题时的区别，特别是在交叉熵损失函数（cross_entropy_with_logits）中的计算原理。Sigmoid在二分类问题中体现了非此即彼的特性，而Softmax则适用于多分类。文章通过代码实例展示了这两种激活函数的实现与应用。

摘要由CSDN通过智能技术生成

总论：

支持原创精神，转载请注明来源！

sigmoid主要用于二分类问题，其计算定义当中含有非此即彼，而对于用于多分类的softmax则没有这种意思，理由如下

注意的得，sigmiod和softmax计算有两步不一样，但是可以从在交叉熵的计算可以看出明显的区别，即sigmiod的非此即彼

计算定义：

sigmiod未知：

y = np.array([[1,0,0],[0,1,0],[0,0,1]]).astype(np.float64)
logits = np.array([[12,3,2],[3,10,1],[1,2,5]]).astype(np.float64)
y_logits = tf.nn.sigmoid(logits)
cross_entropy1 = -(y*tf.log(y_logits)+(1-y)*tf.log(1-y_logits))#！！！！交叉熵
cross_entropy2 = tf.nn.sigmoid_cross_entropy_with_logits(labels=y, logits=logits)
with tf.Session() as sess:
    cross_entropy2 = sess.run(cross_entropy2)
    cross_entropy1 = sess.run(cross_entropy1)
    y_log