-tf.reduce_sum(one_hot_labels * log_probs, axis=-1)是什么损失函数？

于 2022-09-15 17:01:57 发布
阅读量756 收藏
点赞数
分类专栏： Note 杂记 文章标签： python 深度学习 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/ftimes/article/details/126875105
版权
Note 同时被 2 个专栏收录
59 篇文章 1 订阅
订阅专栏
杂记
43 篇文章 1 订阅
订阅专栏 
    log_probs = tf.nn.log_softmax(logits, axis=-1)
    one_hot_labels = tf.one_hot(labels, depth=num_labels, dtype=tf.float32)
    per_example_loss = -tf.reduce_sum(one_hot_labels * log_probs, axis=-1)
    loss = tf.reduce_mean(per_example_loss)

由于BERT代码当初是用Tensorflow1.x发布的，阅读代码时没太看懂这个loss function，经查证，是：
负对数似然(negative log-likelihood)

在这里插入图片描述

江南蜡笔小新
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
对tf.reduce_sum tensorflow维度上的操作详解
01-20
tensorflow中有很多在维度上的操作，本例以常用的tf.reduce_sum进行说明。官方给的api reduce_sum( input_tensor, axis=None, keep_dims=False, name=None, reduction_indices=None ) input_tensor:表示输入 axis:表示在那个维度进行sum操作。 keep_dims:表示是否保留原始数据的维度，False相当于执行完后原始数据就会少一个维度。 reduction_indices:为了跟旧版本的兼容，现在已经不使用了。 官方的例子： # 'x' is [[1, 1,
tf.reduce_sum(tensor, axis=-1)
qq_39321513的博客
05-24 1720
一个很好的介绍的博客：彻底理解 tf.reduce_sum() - 简书 (jianshu.com) 代码举例： sess = tf.Session() tensor = [[[ 1 , 2 , 3 , 4], [ 5 , 6, 7 , 8], [ 9 , 10, 11, 12]], [[ 13, 14 ,15 ,16], [ 17 , 18 ,19, 20], [ 21, 22 ,23 ,24]]] import numpy as np c= tf.reduc.
理解tf.reduce_sum
lcczzu的专栏
01-04 3231
reduce_sum应该理解为压缩求和、抹去求和，用于降维 什么是sum 什么是reduce 什么是维度(indices, 现在均改为了axis和numpy等包一致) 1. 什么是维度？什么是轴（axis）？如何索引轴（axis）？ 这是一个很大的问题，到底什么是维度呢？维基百科说： 维度，又称维数，是数学中独立参数的数目。在物理学和哲学的领域内，指独立的时空坐标的数目。 0维是一点，没...
tf.reduce_mean的axis参数
Dzwfvz的博客
08-08 1175
tf.reduce_mean的axis参数 reduction_indices已经不推荐继续使用了，axis成为新的替代。 axis越大，代表计算的粒度越小，越深入。 对于二维2*2的一个tensor，axis=None(得到四个数的平均)，axis=0(列方向求mean)，axis=1(行方向求mean) reduce_mean( input_tensor, axis=...
tf.reduce_sum()函数
薛定谔的AI
07-13 3982
reduce_sum( input_tensor, axis=None, keep_dims=False, name=None, reduction_indices=None ) reduce_sum 是 tensor 内部求和的工具。其参数中： input_tensor 是要求和的 tensor axis 是要求和的 rank，如果为 none，则表...
k-means-master.zip_K means matlab_K._happenedzix_k-means_k-means
07-15
centroids(i,:) = mean(data(labels == i,:),1); end end function converged = is_converged(new_centroids, old_centroids) % 检查新旧聚类中心差异是否小于某个阈值 converged = norm(new_centroids - old_...
K-means.rar_K._K均值；聚类_k-means k均值_k-means 聚类_k均值聚类matlab
07-15
1. **K-means算法原理**： - **初始化**：首先，随机选择K个初始聚类中心（也称为质心）。 - **分配阶段**：对于数据集中的每一个样本点，计算它与所有聚类中心的距离，将其分配到最近的聚类中心所在的类别。 - *...
01-intro-v2-annotated.rar_V2 _cypher tuto
09-24
6. **聚合函数**：像COUNT、SUM、AVG等函数可以用于对查询结果进行统计分析。 7. **数据修改**：如何添加、删除和更新节点、关系及其属性，以维护数据库的动态性。 8. **性能优化**：理解索引、约束和查询计划，以...
k-means_k-means聚类算法_K._k_means算法_
09-30
X = np.array([[1, 2], [1, 4], [1, 0], [4, 2], [4, 4], [4, 0]]) # 初始化k-means模型，设置k=2 kmeans = KMeans(n_clusters=2) # 训练模型 kmeans.fit(X) # 获取预测结果 labels = kmeans.labels_ centroids ...
imageviewer-final.rar_ImageViewer_ImageViewer java_event
09-20
This project demonstrates the building of a simple GUI (including labels, buttons, layout managers, event handling, menus, dialogs) as well as a bit of image processing. This project is started by ...
Tensorflow-reduce_sum 函数 Axis 详解
BITDDD小栈
04-28 1154
编程过程中经常需要对数组进行处理，而sum又是经常需要用到的函数，sum函数传参时会用到axis参数，低维度还好，高维度经常容易混淆，本文基于TF，对数组sum时axis进行详解，即对哪个位置加，加完形状变什么样： Tip:tf只是用来调用生成结果，对axis的理解适合任意语言 Sum 首先明确axis的作用，axis参数是加和时用来固定的轴，也可以说是数学里的维度。常见的情形遇到的是...
tensorflow中 tf.reduce_mean函数
javascriptch的博客
07-09 193
https://blog.csdn.net/dcrmg/article/details/79797826
tf.reduce_sum理解（小记）
王猛的专栏
07-20 374
# 'x' is [[1, 1, 1] # [1, 1, 1]] #求和 tf.reduce_sum(x) ==> 6 #按列求和 tf.reduce_sum(x, 0) ==> [2, 2, 2] #按行求和 tf.reduce_sum(x, 1) ==> [3, 3] #按照行的维度求和 tf.reduce_sum(x, 1, keep_di...
tensorflow笔记 ：reduce_mean()函数axis参数理解
ahouahouahouahou的博客
09-22 1203
tensorflow学习笔记 ：reduce_mean()函数axis参数理解 tf.reduce_mean(input_tensor, axis=None, keepdims=False, name=None, reduction_indices=None) 作用：沿着张量不同的数轴进行计算平均值。 看到不少答案 感觉这个参数axis意义的解释不太清楚，只是说明了结果的规...
tf.reduce_sum()
weixin_41043240的博客
03-28 713
关于reduce有一系列的函数，为什么加了个reduce呢？ reduce翻译过来是归约，其效果也就相当于降维，比如二维矩阵按行求和，结果就是一个向量，少了一维，也就是会掉一层方括号。 Keepdims，这个参数会使其不掉那一层方括号，也就是保持维度数目，尤其适合操作结束要和其他同维度数据相加。 a = [[[1,2], [3,4], [5,6],[7,8]]] with tf.Sessi...
彻底理解 tf.reduce_sum()
weixin_45368686的博客
05-07 398
作者：xingzai 链接：https://www.jianshu.com/p/30b40b504bae 来源：简书 reduce_sum() 用于计算张量tensor沿着某一维度的和，可以在求和后降维。 tf.reduce_sum( input_tensor, axis=None, keepdims=None, name=None, reduction_indices=None, keep_di...
对于矩阵操作中axis的理解，以及axis=-1的解释
shenyuan12的专栏
08-26 407
1. axis的基本使用 axis常常用在numpy和tensorflow中用到，作为对矩阵（张量）进行操作时需要指定的重要参数之一。设定axis=-1,0,1...，用来指定执行操作的数据如何划分。 一句话解释：设axis=i，则沿着第i个下标变化的方向进行操作！[1] 简单例子就不举了，其他博客有很多，这里举一个稍微复杂一点的三维矩阵的例子： 设embeddings是一个shape=[3,4,5]的矩阵，如下： embeddings = [[[-0.30166972 0.2574174
tensorflow中交叉熵损失函数详解
little_fat_sheep
05-01 2724
1 前言 tensorflow中定义了3个交叉熵损失函数： softmax_cross_entropy_with_logits(logits, labels) softmax_cross_entropy_with_logits_v2(logits, labels) sparse_softmax_cross_entropy_with_logits(logits, l...
tensorflow函数之tf.reduce_mean
公众号/知乎: AI算法札记，欢迎关注交流
05-10 1587
tf.reduce_mean() tf.reduce_mean( input_tensor, axis=None, keepdims=None, name=None, reduction_indices=None, keep_dims=None ) tf.reduce_mean函数的作用是求平均值。第一个参数是一个集合，可以是列表、二维数组和...
损失函数用这个loss_function=tf.reduce_mean(tf.nn.softmax_cross_entropy_with_logits(logits=x_train,labels=y_train))
最新发布
05-11
tf.nn.softmax_cross_entropy_with_logits()函数会对logits进行softmax计算，然后计算交叉熵损失，最后使用tf.reduce_mean()函数对所有样本的损失求平均值。这个损失函数的作用是衡量模型输出与真实标签之间的差距，...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值