看懂SoftMax回归算法之代价函数求偏导的数学推导——机器学习笔记（12）

最新推荐文章于 2022-11-11 20:28:58 发布

赵赵赵颖

最新推荐文章于 2022-11-11 20:28:58 发布

阅读量2.5k

点赞数 2

分类专栏：机器学习笔记文章标签：机器学习 softmax回归 softmax代价函数

本文链接：https://blog.csdn.net/leaf_zizi/article/details/107953556

版权

1、学习背景

这两天学习softmax逻辑回归算法，然后卡在了其代价函数求偏导处，“百科”中说，softmax的代价函数如下：

经过求导，得到梯度公式如下：

作为一个准数学专业毕业十多年的小姐姐，不搞明白推导过程怎能罢休！于是，经过两三天各种“百度”和推导，脑袋大一圈、头发掉一把，快要放弃的时候，终于在一位数学专业的美女同事帮助下，成功推导出上述公式。

于是，为了纪念我牺牲的秀发，仅以此文专门记录softmax代价函数求偏导的数学推导过程。算法的学习笔记以后再做。

2、用到的数学公式

示性函数	1{值为真的表达式}=1；1{值为假的表达式} =0
对数求导	$(lnx)'=\frac{1}{x}$

最低0.47元/天解锁文章

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

赵赵赵颖

关注关注

2
点赞
踩
16

收藏

觉得还不错? 一键收藏
1
评论
看懂SoftMax回归算法之代价函数求偏导的数学推导——机器学习笔记（12）

本文专门讲解softmax算法的代价函数求导的数学推导过程，如果你也喜欢机器学习算法，也希望理解其中的细节，只需要一点微积分基础，进来看吧
复制链接

扫一扫

专栏目录

Softmax代价函数求导过程

liu_zheng87的博客

09-29

2594

Cost Function参考UFLDL的Softmax回归，SoftMax回归的的损失函数形为：J(θ)=−1N∑i=1m∑j=1k⎛⎝I(y(i)=k)logeθTjx(i)∑kl=1eθTjx(i)⎞⎠(1.1) J(\theta) = -\frac{1}{N}\sum_{i=1}^m\sum_{j=1}^k\left( I\left(y^{(i)} = k\right) \log \fra

动手学深度学习【2】——softmax回归

qq_41234663的博客

03-10

652

动手学深度学习Pytorch版本，softmax部分代码学习记录。

1 条评论您还未登录，请先登录后发表或查看评论

softmax函数_Softmax函数理解

weixin_39751769的博客

12-08

306

维基给出的解释，softmax函数，也称指数归一化函数，它是一种logistic函数的归一化，可以将维实数向量压缩成范围（0~1）的维实数向量函数形式为其中分母指归一化的作用，取指数的原因，第一是模拟max的行为，即使得大的数值更大，第二是，方便运算求导在概率论中，softmax函数输出与logistic函数有着密切的联系对于两类的softmax函数可以转化为logistic函数的形式...

Softmax公式及梯度计算

最新发布

04-25

在这个"ai_机器学习算法实现之逻辑回归"的压缩包中，很可能包含了一些关于如何使用逻辑回归进行预测分析的详细资料。首先，我们需要理解逻辑回归的基本原理。逻辑回归虽然名字中有“回归”二字，但它实际上是一种...

机器学习&数据挖掘笔记_16（常见面试之机器学习算法思想简单梳理）1

08-08

在机器学习领域，面试中常会涉及各种算法的理解与应用，包括朴素贝叶斯、决策树和逻辑回归等。这些算法在数据挖掘和预测模型构建中占有重要地位。首先，朴素贝叶斯算法是一种基于贝叶斯定理的分类方法。在实际应用...

【机器学习】线性回归（最小二乘法or梯度下降法）、多项式回归、logistic回归、softmax回归.zip

06-10

在机器学习领域，线性回归、多项式回归、逻辑回归和softmax回归是四种常见的模型，它们各有特点并广泛应用于各种预测和分类问题。本压缩包包含相关代码和数据集，帮助学习者深入理解这些概念。 1. **线性回归**： ...

机器学习中的分类技术：Softmax分类算法及其在数据分析中的PyTorch应用

03-25

本笔记本介绍了Softmax分类算法在机器学习领域的应用。Softmax函数是逻辑回归的推广，适用于多类别输出问题。通过详细解析算法原理、数学模型及其在Python中的实现过程，本教程旨在帮助读者深入理解Softmax分类的...

机器学习中的数学（2）：信息熵与损失函数1

08-03

在机器学习中，比如分类问题，如果把结果当作是概率分布来看，标签表示的就是数据真实的概率分布，由logistic函数和softmax函数产生的结果其实是对于数据的预测分布，预测分布和真实分布差值叫做KL散度或者是相对熵...

机器学习入门（七）神经网络--代价函数、前向反向传播算法及问题

qq_41694024的博客

11-11

1460

神经网络--代价函数、前向反向传播算法及问题

Logistic回归-代价函数求导过程 | 内含数学相关基础

qq_29663489的博客

02-14

1882

转载自：https://blog.csdn.net/JUNJUN_ZHAO/article/details/78564557 相关函数求导公式先复习回顾下一些数学基础，帮助推导过程可以更好的理解。下面列举的公式都是，接下来的推导中会用到的，没有涉及到的公式，此处不再列举。常数项求导以 e 为底的指数求导公式对数复合求导公式幂...

SoftMax和代价函数

Waseda-peter的博客

07-08

1330

逻辑回归和SoftMax的理解:逻辑回归逻辑回归代价函数 这是逻辑回归的代价函数. 理解这个代价函数: 假设函数hθ代表的是预测y=1的概率(因为假设二值分布满足伯努利分布) - 例如:如果将x=1输入假设函数当中,输出结果为0.7,那么可以说输入x=1,有百分之70的把握,输出的y=1.如何理解这个代价函数: 1. 从公式直接理解:在y(i)取值为1时候,那么预测函数越接近于1,

详解softmax函数以及相关求导过

wzy的博客

03-21

6859

这几天学习了一下softmax激活函数，以及它的梯度求导过程，整理一下便于分享和交流！ softmax函数 softmax用于多分类过程中，它将多个神经元的输出，映射到（0,1）区间内，可以看成概率来理解，从而来进行多分类！假设我们有一个数组，V，Vi表示V中的第i个元素，那么这个元素的softmax值就是更形象的如下图表示： softmax直白来说就是将原来输出是3

手动推导softmax神经网络反向传播求导过程——神经网络之softmax(6)

石头的博客

05-09

1270

通过对本系列的学习，你可以全面的了解softmax的来龙去脉。如果你尚不了解神经网络，通过本系列的学习，你也可以学到神经网络反向传播的基本原理。学完本系列，基本神经网络原理就算式入门了，毕竟神经网络基本的网络类型就那几种，很多变种，有一通百通的特点。

【自己笔记】逻辑回归代价函数导数求解过程，softmax loss

zlsjsj的博客

05-10

7109

1)梯度下降θθ的更新过程，走梯度方向的反方向： Sigmoid函数求导：函数：f(z) = 1 / (1 + exp( − z)) 导数：f(z)' = f(z)(1 − f(z)) 求导过程如下： softmax的损失函数：对于给定的测试输入，我们想用假设函数针对每一个类别j估算出概率值...

【机器学习笔记13】softmax多分类模型【上篇】完整流程与详细公式推导

issey的博客

10-26

2989

简介；如何利用softmax对样本进行分类；明确变量与集合；进一步处理；对label向量化；样本特征的加权组合；softmax函数；损失函数；梯度下降；损失函数求偏导的详细推导；softmax多分类模型的训练流程和预测流程。

【优化】logistic和softmax代价函数

shenxiaolu1984的专栏

03-29

3899

logistic代价和softmax代价

代价函数详解（合页代价与softmax代价）

qwezhaohaihong

09-10

197

用numpy计算softmax回归的代价函数

03-24

Softmax回归的代价函数可以使用交叉熵损失函数来计算。该函数可由以下式子表示：J=-1/m * ∑i∑j(yij log(aij) + (1-yij) log(1-aij))，其中m为样本数量，yij表示第i个样本的第j个标签的输出值，aij表示第i个样本的第j个标签的预测值。在使用numpy计算时，可以使用log函数和sum函数来计算交叉熵损失函数。