看懂SoftMax回归算法之代价函数求偏导的数学推导——机器学习笔记（12）

最新推荐文章于 2022-08-30 17:23:18 发布
最新推荐文章于 2022-08-30 17:23:18 发布
阅读量2.6k 收藏 16
点赞数 2
分类专栏： 机器学习笔记 文章标签： 机器学习 softmax回归 softmax代价函数
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/leaf_zizi/article/details/107953556
版权
本文记录了作者在学习softmax回归时遇到的难点——代价函数的偏导数求解过程。通过数学推导，详细解释了如何从softmax的代价函数出发，利用对数求导和链式法则，最终得到梯度公式，以此纪念在学习过程中付出的努力。
摘要由CSDN通过智能技术生成

1、学习背景

这两天学习softmax逻辑回归算法，然后卡在了其代价函数求偏导处，“百科”中说，softmax的代价函数如下：

经过求导，得到梯度公式如下：

作为一个准数学专业毕业十多年的小姐姐，不搞明白推导过程怎能罢休！于是，经过两三天各种“百度”和推导，脑袋大一圈、头发掉一把，快要放弃的时候，终于在一位数学专业的美女同事帮助下，成功推导出上述公式。

于是，为了纪念我牺牲的秀发，仅以此文专门记录softmax代价函数求偏导的数学推导过程。算法的学习笔记以后再做。

2、用到的数学公式

示性函数 1{值为真的表达式}=1；1{值为假的表达式} =0
对数求导 (lnx)'=\frac{1}{x}
最低0.47元/天 解锁文章
Softmax代价函数求导过程
liu_zheng87的博客
09-29 2728
Cost Function参考UFLDL的Softmax回归，SoftMax回归的的损失函数形为：J(θ)=−1N∑i=1m∑j=1k⎛⎝I(y(i)=k)logeθTjx(i)∑kl=1eθTjx(i)⎞⎠(1.1) J(\theta) = -\frac{1}{N}\sum_{i=1}^m\sum_{j=1}^k\left( I\left(y^{(i)} = k\right) \log \fra
SoftMax和代价函数
Waseda-peter的博客
07-08 1396
逻辑回归和SoftMax的理解:逻辑回归逻辑回归代价函数 这是逻辑回归的代价函数. 理解这个代价函数: 假设函数hθ代表的是预测y=1的概率(因为假设二值分布满足伯努利分布) - 例如:如果将x=1输入假设函数当中,输出结果为0.7,那么可以说输入x=1,有百分之70的把握,输出的y=1.如何理解这个代价函数: 1. 从公式直接理解:在y(i)取值为1时候,那么预测函数越接近于1,
Softmax公式及梯度计算
阿辉的博客
07-11 1万+
softmax是一个多分类器，可以计算预测对象属于各个类别的概率。 公式 yi=S(z)i=ezi∑j=1Cezj，i=1,...,Cy_i=S(\boldsymbol{z})_i = \frac{e^{z_i}}{\sum_{j=1}^{C}e^{z_j}}，i=1,...,Cyi​=S(z)i​=∑j=1C​ezj​ezi​​，i=1,...,C z\boldsymbol{z}z是上一层的输...
softmax的log似然代价函数（公式求导）
热门推荐
Arthur-Chen的专栏
04-02 6万+
在人工神经网络（ANN）中，softmax通常被用作输出层的激活函数。这不仅是因为它的效果好，而且因为它使得ANN的输出值更易于理解。同时，它配合log似然代价函数，其训练效果也要比采用二次代价函数的方式好。
代价函数详解（合页代价与softmax代价）
qwezhaohaihong
09-10 226
Logistic回归-代价函数求导过程 | 内含数学相关基础
qq_29663489的博客
02-14 1967
转载自：https://blog.csdn.net/JUNJUN_ZHAO/article/details/78564557 相关函数求导公式 先复习回顾下一些数学基础，帮助推导过程可以更好的理解。下面列举的公式都是，接下来的推导中会用到的，没有涉及到的公式，此处不再列举。 常数项求导 以 e 为底的指数求导公式 对数复合求导公式 幂...
通俗易懂！详解Softmax及求导过程、Python实现、交叉熵
pengyou200902的博客
10-28 4175
文章目录前言一、概率学解释二、Softmax求导1.向量微积分2.Softmax的导数三、Softmax的计算和稳定性1.Python实现Softmax三、Softmax层及其导数待续。。。 前言 本文是对一篇国外的讲解softmax的文章的翻译。 Softmax函数的输入是一个N维的向量，向量元素是任意实数，输出也是一个N维的向量，但是有如下性质： 输出向量元素取值范围是(0, 1) 对输出向量的所有元素求和时，和为1 Softmax函数是这样一个映射 S(a):RN→RNS(a): \mathb
学习笔记——机器学习--多项式分布及Softmax回归模型推导
liuyhoo
08-09 2601
在一个多分类问题，预测变量yyy可以取kkk个离散值中的任何一个，即y∈{1,2,⋯,k}y∈{1,2,⋯,k}y\in \{1,2,\cdots ,k\}。 例如：在一个邮件分类系统将邮件分为私人邮件，工作邮件和垃圾邮件。由于yyy仍然是一个离散值，这种多分类问题，二分类模型在这里不太适用。 多分类问题符合多项分布。有许多算法可用于解决多分类问题，像决策树、朴素贝叶斯等。本文主要讲解多分类算...
机器学习笔记之线性分类——逻辑回归
静静的学习就好
08-30 841
前面几节介绍了线性分类中硬分类方法，如感知机算法、线性判别分析。并介绍了对应算法中的 策略构建思路以及最优模型参数求解过程。本节将介绍软分类中的经典算法——逻辑回归。
手把手神经网络讲解和无调包实现系列（2）Softmax回归【R语言】【小白学习笔记】
美国小土豆的博客
08-06 963
Softmax回归理论讲解数据R语言实现 在第一期我们讲解并实现了最基本的线性回归，这一期我们会紧接着上期，从回归问题讲到分类问题，而这时我们需要在线性回归模型的基础上增添一些元素，也就是激活函数【activation function】从而让我们的模型可以解决非线性的数据和分类的问题。 往期精彩： 手把手神经网络讲解和无调包实现系列（1）线性回归【R语言】【小白学习笔记】 理论讲解 数据 R语言实现 ...
[学习笔记]机器学习——算法及模型（二）：逻辑回归
xyz的博客
10-05 743
传统算法（二） 逻辑回归 一、是回归还是分类？ 在前述的线性回归中，我们的目标是找到一条线性的线，对目标的点进行拟合，经过计算之后的预测结果尽可能接近真实值； 而分类，则是要把结果进行区分，如下图： 我们可以很容易的找到一条线性的分类器（直线）来将红色和蓝色的点区分开来； 但是现实中，很多问题并不能用线性的关系来进行分类，如下图， 线性的分类肯定不能将红蓝两部分完全分开，需要采用非线性的分类器来...
最小二乘一元回归代价函数-最小值求解(偏导数)
jshazhang的专栏
10-24 4129
SoftMax 推导
wenxueliu的博客
07-04 734
softmax 一组数据通过 softmax 之后，按照各个数字的大小归一化到 (0,1) 的概率，并且所有数字概率之和为 1，因此，数字越大，概率越大。 计算偏导非常简单 假设我们有一个数组，V，Vi表示V中的第i个元素，那么这个元素的softmax值就是 Si=ei∑jejSi=ei∑jejS_i = \frac {e^i}{\sum_j e^j} 看了很多推导，感觉来时自己亲自...
softmax求导
HappinessSourceL的博客
07-14 424
https://zhuanlan.zhihu.com/p/25723112 这几天学习了一下softmax激活函数，以及它的梯度求导过程，整理一下便于分享和交流！ 一、softmax函数 softmax用于多分类过程中，它将多个神经元的输出，映射到（0,1）区间内，可以看成概率来理解，从而来进行多分类！ 假设我们有一个数组，V，Vi表示V中的第i个元素，那么这个元素的softmax值就是 更形象的如下图表示： softmax直白来说就是将原来输出是3,1,-3通过softmax函数一
tensorflow（4）Softmax函数 手写体识别 交叉熵代价函数 二次代价函数
SL1109
08-07 812
1.Mnist介绍 训练集数据+训练集标签6万 测试集数据+测试集标签1万 每张：28*28，转化为一个向量=28*28=784,所以得到训练集大小：60000*784的张量。某个像素值是0~1之间。 one-hot vector：3=[0,0,0,1,0,0,0,0,0,0]表示标签，训练集的标签是一个矩阵【60000,10】 神经网络（只有输入层1个和输出层10个） 2.S...
softmax回归损失函数求偏导部分的通俗推导
tongjingqi_的博客
01-26 963
代价函数
智障儿童欢乐多
11-10 360
一、机器学习Machine Learning：cost 函数，loss函数，objective函数 The loss function computes the error for a single training example; the cost function is the average of the loss funcitons of the entire training set....
Softmax回归求导公式推导
tkyjqh的专栏
10-27 1678
原来推导过，但是好像没有推导清楚，看了别人博文，感觉其推导有误，重新推导一下，练练脑力！ 1. Softmax回归计算公式 1）线性加权 2）softmax计算 3）交叉熵 4）偏导数
softmax及函数求导
ywm_up
09-22 7158
softmax 1. 概念 softmax 的核心在于 soft，而 soft 有软的含义，与之相对的是 hard 硬。很多场景中需要我们找出数组所有元素中值最大的元素，是指上都是求的 hardmax。 softmax 定义： softmax(zi)=ezi∑j=1nezj softmax(z_i) = \frac{e^{z_i}}{\sum^n_{j=1}e^{z_j}} softmax(zi​)=∑j=1n​ezj​ezi​​ 其中，ziz_izi​ 为第i个结点的输出值，n为输出结点的个数，即分类的类
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值
>