tensorflow框架基础——交叉熵

最新推荐文章于 2020-05-24 12:02:17 发布
最新推荐文章于 2020-05-24 12:02:17 发布
阅读量296 收藏
点赞数
分类专栏： tensorflow 文章标签： tensorflow 深度学习 python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u010556156/article/details/88561783
版权
本文介绍了TensorFlow框架中的交叉熵概念，作为衡量概率分布差异的指标，并提供了计算公式。同时，讲解了softmax函数，用于将模型输出转换为概率分布。在TensorFlow中，通常使用sparse_softmax_cross_entropy_with_logits计算损失函数，并通过reduce_mean求平均值来评估模型性能。
摘要由CSDN通过智能技术生成

1.交叉熵（Cross Entropy）

表示两个概率分布之间的距离。交叉熵越大，两个概率分布距离越远，两个概率分布越相异。交叉熵越小，两个概率分布越近，两个概率分布越相似。

计算公式：H(y_{-},y)=-\sum y_{-}*log(y)

用tensorflow函数表示为：

ce = -tf.reduce_mean(y_*tf.log(tf.clip_by_value(y,1e-12,1.0)))

tf.clip_by_value(y,1e-12,1.0))表示将y值限制在1e-12和1之间。

 

2.softmax函数

将n分类的n个输出（y1，y2，...yn）变为满足以下概率分布要求的函数：

\forall x P(X=x)\in [0,1]  且  

最低0.47元/天 解锁文章
steadfastly
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Tensorflow 交叉熵（Cross Entropy）详解
ip5108的博客
03-10 1788
数学基础 1）e ，自然对数ln的底数，是个无理数，e=2.71828… 2）f(x)=e^x的函数如下： XXXX XXXX XXXX
一文搞懂交叉熵在机器学习中的使用，透彻理解交叉熵背后的直觉
热门推荐
史丹利复合田的博客
01-25 25万+
关于交叉熵在loss函数中使用的理解 交叉熵（cross entropy）是深度学习中常用的一个概念，一般用来求目标与预测值之间的差距。以前做一些分类问题的时候，没有过多的注意，直接调用现成的库，用起来也比较方便。最近开始研究起对抗生成网络（GANs），用到了交叉熵，发现自己对交叉熵的理解有些模糊，不够深入。遂花了几天的时间从头梳理了一下相关知识点，才算透彻的理解了，特地记录下来，以便日后查阅。
在TensorFlow中实现交叉熵
A_xiao_mili的博客
09-05 1187
Softmax回归处理 神经网络的原始输出不是一个概率值，实质上只是输入的数值做了复杂的加权和与非线性处理之后的一个值而已，那么如何将这个输出变为概率分布？ 这就是Softmax层的作用，假设神经网络的原始输出为y1,y2,….,yn，那么经过Softmax回归处理之后的输出为： 很显然的是： 而单个节点的输出变成的一个概率值，经过Softmax处理后结果作为神经网络最后的输出。 交叉熵的...
tensorflow基础使用5
rytyy的博客
09-17 278
MNIST数据集分类简单版本 # coding: utf-8 # In[2]: import tensorflow as tf from tensorflow.examples.tutorials.mnist import input_data # In[3]: #载入数据集 mnist = input_data.read_data_sets("MNIST_data",one_
tensorflow中交叉熵
shuijinghua的博客
03-01 521
观察softmax输出的predicts可知,softmax能够放大占比重较大的项。 分类标签用one hot向量表示，1的下标就是类别号。是一个shape=(None, num_classes)向量。这种类别表示法用于函数tf.nn.softmax_cross_entropy_with_logits。 labels = np.array([[0, 0, 1], ...
TensorFlow——DL重要框架的入门PPT
10-28
**TensorFlow：深度学习的重要框架入门** TensorFlow是Google Brain团队开发的一款强大的开源库，用于数值计算和大规模机器学习任务，尤其在深度学习领域占据重要地位。本PPT旨在为初学者提供一个易于理解的...
TensorFlow基础教程01
03-16
在众多深度学习框架中，TensorFlow因其强大的功能和广泛的社区支持，成为了许多开发者的首选。本教程将带你深入浅出地了解TensorFlow的基础知识，助你快速进入这个激动人心的领域。 ### 一、什么是TensorFlow？ ...
深度学习框架Tensorflow学习与应用
10-15
1. **Tensorflow基础知识**：首先，你需要理解Tensorflow的核心概念——张量（Tensor）。张量是Tensorflow中的基本数据结构，可以是标量、向量、矩阵甚至是更高维度的数据。此外，计算图（Computational Graph）是...
Tensorflow中的交叉熵（Cross Entropy）
songbinxu的博客
12-04 779
Tensorflow中的交叉熵（Cross Entropy） Cross Entropy (Sigmoid) 适用于二分类，输入函数的logits和labels应当是一维的。如果输入One-Hot过的logits，会被当做多个一维分别计算。注意不要将已经通过sigmoid计算得到的数值输入函数，那样会得到错误的结果。 sigmoid(x)=x^=11+e−xsigmoid(x)=\hat x=\f...
tensorflow四种交叉熵的计算
06-06
tensorflow四种交叉熵的详细的计算公式，及python实现方式
tensorflow学习：交叉熵计算
u013717571的博客
07-06 501
这是一篇学习tensorflow的日常记录，最近遇到了交叉熵计算问题，于是整理出来方便以后查阅，看到的朋友如有发现错误，请指正！-------------------------------------------------------------------------------------------------------------------------------先明确一个定义：多...
TensorFlow 中的交叉熵（Cross Entropy）
ncst
07-04 1545
TensorFlow 中的交叉熵（Cross Entropy） 与 softmax 一样，TensorFlow 也有一个函数可以方便地帮我们实现交叉熵。 Cross entropy loss function 交叉熵损失函数 让我们把你从视频当中
TensorFlow 计算交叉熵
聚集机器学习、信息安全
02-22 1168
TensorFlow中提供了两个计算交叉熵的函数， 分别是 tf.nn.softmax_cross_entropy_with_logits_v2 与 tf.nn.sparse_softmax_cross_entropy_with_logits
TensorFlow交叉熵
陈海峰的博客
05-16 624
import tensorflow as tf #预测结果 logits = tf.constant([[0.5, 0.4, 0.1]]) y = tf.nn.softmax(logits) #label数据(正确结果) y_ = tf.constant([[1.0, 0.0, 0.0]]) #交叉熵方式一 cross_entropy = -tf.reduce_sum(y_ * tf.l
tensorflow: 交叉熵
qq_25987491的博客
06-12 283
按照tensorflow官方教程搭建好的一个model中的loss函数应该是采用如下的计算方法： cross_entropy = -tf.reduce_sum(y_*tf.log(y)) 其中，这个公式就是按照标准的交叉熵函数进行定义的，比较简陋，去掉了常数项系数，但是没改变总体的性质，所以算是基本交叉熵函数。 但是呢，tensorflow系统中提供了计算交叉熵函数的接口。 以下这两个函数...
tensorflow中四种不同交叉熵函数tf.nn.softmax_cross_entropy_with_logits()
Mr番茄蛋的博客
03-31 2万+
Tensorflow中的交叉熵函数 tensorflow中自带四种交叉熵函数，可以轻松的实现交叉熵的计算。 tf.nn.softmax_cross_entropy_with_logits() tf.nn.sparse_softmax_cross_entropy_with_logits() tf.nn.sigmoid_cross_entropy_with_logits() tf...
TensorFlow交叉熵函数
清风拂面
05-24 401
目录 tf.nn.sigmoid_cross_entropy_with_logits 计算给定logits的sigmoid交叉熵。 tf.nn.weighted_cross_entropy_with_logits 计算加权交叉熵 tf.nn.softmax_cross_entropy_with_logits 计算logits和labels之间的softmax交叉熵 tf.nn.sparse_softmax_cross_entropy_with_logits 函数案例 tf.nn.sigmo...
TensorFlow使用交叉熵函数
weixin_41601044的博客
06-21 210
交叉熵是什么
tensorflow中如何用交叉熵损失函数
最新发布
04-04
在TensorFlow中，可以使用`tf.nn.softmax_cross_entropy_with_logits()`函数来定义交叉熵损失函数。 下面是一个简单的示例： ```python import tensorflow as tf # 定义输入和标签 x = tf.placeholder(tf.float32, [None, 10]) y = tf.placeholder(tf.float32, [None, 10]) # 定义模型 W = tf.Variable(tf.zeros([10, 10])) b = tf.Variable(tf.zeros([10])) logits = tf.matmul(x, W) + b y_pred = tf.nn.softmax(logits) # 定义损失函数 cross_entropy = tf.nn.softmax_cross_entropy_with_logits(labels=y, logits=logits) loss = tf.reduce_mean(cross_entropy) # 定义训练操作 optimizer = tf.train.GradientDescentOptimizer(0.5) train_op = optimizer.minimize(loss) # 训练模型 with tf.Session() as sess: sess.run(tf.global_variables_initializer()) # 训练过程... ``` 在上面的示例中，我们首先定义了输入和标签的占位符。然后，我们定义了一个简单的线性模型，其中权重矩阵W和偏置向量b都初始化为零。接下来，我们使用`tf.nn.softmax_cross_entropy_with_logits()`函数来计算交叉熵损失，然后使用`tf.reduce_mean()`函数将所有样本的损失求平均。最后，我们使用梯度下降优化器来最小化损失函数。 需要注意的是，`tf.nn.softmax_cross_entropy_with_logits()`函数要求我们传递logits和labels参数，其中logits是模型的输出，labels是真实标签。在上面的示例中，我们使用了softmax函数来将logits转换为概率分布，然后将其传递给了`tf.nn.softmax_cross_entropy_with_logits()`函数。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值