softmax及其交叉熵求导(头条面试) - 面试篇

最新推荐文章于 2023-03-16 21:31:35 发布
最新推荐文章于 2023-03-16 21:31:35 发布
阅读量1k 收藏 5
点赞数 3
分类专栏： 面试 算法 机器学习 文章标签： 面试 算法 机器学习 softmax求导 交叉熵求导
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/GreatXiang888/article/details/99293507
版权
算法 同时被 3 个专栏收录
9 篇文章 1 订阅
订阅专栏
机器学习
7 篇文章 5 订阅
订阅专栏
面试
6 篇文章 3 订阅
订阅专栏

今日头条/字节跳动 算法岗喜欢问的一个题目，同学碰到过一次，我自己也碰到过。

问：softmax函数是什么？怎么求导？
1

问：softmax的交叉熵怎么求导?
2
（字有点丑，以后要练习）

sigmoid一般用来作为2分类0-1，softmax其实是sigmoid的k分类形式，通常都在神经网络最后一层输出，表示该类别发生的概率。

另外，sigmoid可以用来作为激活函数。引出下面：
问：sigmoid激活函数有什么优缺点？你还知道什么其他的激活函数？
因为和这篇文章关系不大，另开了一篇。
常见激活函数，及其优缺点 - 面试篇

参考资料：
交叉熵求导
softmax求导

机智翔学长
关注
  • 3
    点赞
  • 踩
  • 5
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
matlab求导代码-logsumexp-softmax:logsumexp-softmax
05-24
matlab求导代码Log-sum-exp和softmax函数 关于 logsumexp和softmax评估log-sum-exp函数$ lse（x）= log ∑ i = 1 ^ ne x_i $和softmax函数$ g（x）$，其中$ g_j（x）= \ frac {e x_j } { ∑ i = 1 ^ ne x_i $，其中x...
详解机器学习由 信息量→熵→相对熵→交叉熵 ___转自狐友
丿回到火星去
07-29 1753
理解流程大致如下： 信息量X轴表示P y轴表示信息量   信息论 交叉熵是信息论中的一个概念，要想了解交叉熵的本质，需要先从最基本的概念讲起。 1 信息量 首先是信息量。假设我们听到了两件事，分别如下： 事件A：巴西队进入了2018世界杯决赛圈。 事件B：中国队进入了2018世界杯决赛圈。 仅凭直觉来说，显而易见事件B的信息量比事件A的信息量要大。究其原因，是因为事件A发生的...
用C++实现softmax函数(面试经验)
concyclics的博客
04-29 2万+
背景 今天面试字节算法岗时被问到的问题，让我用C++实现一个softmax函数。softmax是逻辑回归在多分类问题上的推广。大概的公式如下： input:{x1,x2,⋯ ,xn}softmax(xt)=ext∑i=1nexi input: \{x_1, x_2,\cdots, x_n\}\\ softmax(x_t)=\frac{e^{x_t}}{\sum_{i=1}^{n}e^{x_i}} input:{x1​,x2​,⋯,xn​}softmax(xt​)=∑i=1n​exi​ext​​ 即判断该变量
深度学习面试问题与答案（2023）
拟禾的个人技术博客
03-16 5450
深度学习热门面试题。
最基本的25道深度学习面试问题和答案
deephub
09-15 1万+
在本文中，将整理深度学习面试中最常被问到的25个问题和答案。如果你最近正在参加深度学习相关的面试工作，那么这些问题会对你有所帮助
【AI面试】Dropout、SoftMax、KNN、K-means等问题
钱多多先森
01-03 774
面试题汇总
PyTorch的SoftMax交叉熵损失和梯度用法
09-18
在PyTorch中，SoftMax和交叉熵损失是深度学习模型中常见的概念，尤其是在多分类问题中。SoftMax函数是一种将向量转换为概率分布的方法，确保所有元素的和为1，而交叉熵损失则是衡量预测概率分布与真实标签之间差异的...
softmax的交叉熵导数推导.docx
05-16
在机器学习领域，softmax函数和交叉熵损失是两个非常关键的概念，它们在多类分类问题中扮演着重要角色。softmax函数常被用作多分类任务的输出层，它将神经网络的原始输出转换为概率分布，而交叉熵损失则作为评估模型...
python编写softmax函数、交叉熵函数实例
12-17
# the list of values given by the softmax function. def softmax(L): pass expL = np.exp(L) sumExpL = sum(expL) result = [] for i in expL: result.append(i*1.0/sumExpL) return result python编写...
20. softmax softmax-loss cross-entropy交叉熵1
08-03
1.softmax loss理解 3.由softmax到softmaxloss到cross entropy 1.softmax loss理解 3.由softma
【机器学习】推荐系统、机器学习面试题整理
长相忆兮长相忆的专栏
05-10 2457
推荐系统、机器学习常见面试题整理。
深度学习面试题07：sigmod交叉熵、softmax交叉熵
weixin_30498921的博客
08-20 155
目录 　　sigmod交叉熵 　　Softmax转换 　　Softmax交叉熵 　　参考资料 sigmod交叉熵 Sigmod交叉熵实际就是我们所说的对数损失，它是针对二分类任务的损失函数，在神经网络中，一般输出层只有一个结点。 假设y为样本标签，_y为全连接网络的输出层的值，那么，这个对数损失定义为 PS：这个是可以用极大似...
算法工程师面试题十三交叉熵函数
说文科技，做有态度的研究。
03-15 2207
交叉熵函数是神经网络模型中最重要的损失函数，交叉熵函数是面试必考点，本文详细解析了面试中交叉熵损失函数的相关面点！
算法工程师面试之softmax函数
说文科技，做有态度的研究。
03-18 414
算法工程师面试必备之softmax，从基础知识到主要问题，再到实践踩坑
sigmoid和softmax总结
老哥的专栏
10-13 13万+
sigmoid函数（也叫逻辑斯谛函数）： 　引用wiki百科的定义：　　A logistic function or logistic curve is a common “S” shape (sigmoid curve).　　其实逻辑斯谛函数也就是经常说的sigmoid函数，它的几何形状也就是一条sigmoid曲线。　　logistic曲线如下： 　　同样，我们贴一下wiki百科对softma
面试准备---- 交叉熵，相对熵（KL散度），softmax
一只小包子的博客
04-18 830
1.信息熵 在信源中有n个独立取值的信号，每种信号出现的可能性分布为 p1,p2 ,…pn,且各个符号的出现相互独立，那么整体信源的不确定性为单个符号不确定性的统计平均值（单个信号不确定性为 log(1/p)） 称为信息熵 即 H(U) =E[- log( p )]=-∑ pi log(pi),当所有 pi 取值均相等 即 1/N 时 信息熵取到最大值 上图可见 当一件事情发生的概率越大的时候...
为什么是SoftMax？
weixin_33755554的博客
12-10 418
标签： 深度学习 输出层的激励函数 - SOFTMAX SOFTMAX 长什么样子？如下图所示 从图的样子上看，和普通的全连接方式并无差异，但激励函数的形式却大不一样。 首先后面一层作为预测分类的输出节点，每一个节点就代表一个分类，如图所示，那么这7个节点就代表着7个分类的模型，任何一个节点的激励函数都是：$$ {\sigma _i}...
【AI面试题】Softmax的原理是什么，有什么作用
Roaddd的博客
02-28 435
入门级都能看懂的softmax详解
热门推荐
bitcarmanlee的博客
09-02 64万+
1.softmax初探 在机器学习尤其是深度学习中，softmax是个非常常用而且比较重要的函数，尤其在多分类的场景中使用广泛。他把一些输入映射为0-1之间的实数，并且归一化保证和为1，因此多分类的概率之和也刚好为1。 首先我们简单来看看softmax是什么意思。顾名思义，softmax由两个单词组成，其中一个是max。对于max我们都很熟悉，比如有两个变量a,b。如果a>b，则max为...
softmax和交叉熵损失函数
最新发布
08-16
softmax 和交叉熵损失函数经常一起使用，尤其在多类别分类任务中。 softmax 是一种常用的激活函数，它将模型的原始输出转化为表示概率的输出。softmax 函数通过对原始输出进行指数运算，并进行归一化，将每个类别的...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值