看懂SoftMax回归算法之代价函数求偏导的数学推导——机器学习笔记（12）

最新推荐文章于 2023-03-10 00:24:12 发布

赵赵赵颖

最新推荐文章于 2023-03-10 00:24:12 发布

阅读量2.5k

点赞数 2

分类专栏：机器学习笔记文章标签：机器学习 softmax回归 softmax代价函数

本文链接：https://blog.csdn.net/leaf_zizi/article/details/107953556

版权

1、学习背景

这两天学习softmax逻辑回归算法，然后卡在了其代价函数求偏导处，“百科”中说，softmax的代价函数如下：

经过求导，得到梯度公式如下：

作为一个准数学专业毕业十多年的小姐姐，不搞明白推导过程怎能罢休！于是，经过两三天各种“百度”和推导，脑袋大一圈、头发掉一把，快要放弃的时候，终于在一位数学专业的美女同事帮助下，成功推导出上述公式。

于是，为了纪念我牺牲的秀发，仅以此文专门记录softmax代价函数求偏导的数学推导过程。算法的学习笔记以后再做。

2、用到的数学公式

示性函数	1{值为真的表达式}=1；1{值为假的表达式} =0
对数求导	$(lnx)'=\frac{1}{x}$

最低0.47元/天解锁文章

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

赵赵赵颖

关注关注

2
点赞
踩
16

收藏

觉得还不错? 一键收藏
1
评论
看懂SoftMax回归算法之代价函数求偏导的数学推导——机器学习笔记（12）

本文专门讲解softmax算法的代价函数求导的数学推导过程，如果你也喜欢机器学习算法，也希望理解其中的细节，只需要一点微积分基础，进来看吧
复制链接

扫一扫

专栏目录

Softmax代价函数求导过程

liu_zheng87的博客

09-29

2595

Cost Function参考UFLDL的Softmax回归，SoftMax回归的的损失函数形为：J(θ)=−1N∑i=1m∑j=1k⎛⎝I(y(i)=k)logeθTjx(i)∑kl=1eθTjx(i)⎞⎠(1.1) J(\theta) = -\frac{1}{N}\sum_{i=1}^m\sum_{j=1}^k\left( I\left(y^{(i)} = k\right) \log \fra

softmax的log似然代价函数（公式求导）

最新发布

04-25

在这个"ai_机器学习算法实现之逻辑回归"的压缩包中，很可能包含了一些关于如何使用逻辑回归进行预测分析的详细资料。首先，我们需要理解逻辑回归的基本原理。逻辑回归虽然名字中有“回归”二字，但它实际上是一种...

机器学习&数据挖掘笔记_16（常见面试之机器学习算法思想简单梳理）1

08-08

在机器学习领域，面试中常会涉及各种算法的理解与应用，包括朴素贝叶斯、决策树和逻辑回归等。这些算法在数据挖掘和预测模型构建中占有重要地位。首先，朴素贝叶斯算法是一种基于贝叶斯定理的分类方法。在实际应用...

【机器学习】线性回归（最小二乘法or梯度下降法）、多项式回归、logistic回归、softmax回归.zip

06-10

在机器学习领域，线性回归、多项式回归、逻辑回归和softmax回归是四种常见的模型，它们各有特点并广泛应用于各种预测和分类问题。本压缩包包含相关代码和数据集，帮助学习者深入理解这些概念。 1. **线性回归**： ...

机器学习中的分类技术：Softmax分类算法及其在数据分析中的PyTorch应用

03-25

本笔记本介绍了Softmax分类算法在机器学习领域的应用。Softmax函数是逻辑回归的推广，适用于多类别输出问题。通过详细解析算法原理、数学模型及其在Python中的实现过程，本教程旨在帮助读者深入理解Softmax分类的...

机器学习中的数学（2）：信息熵与损失函数1

08-03

在机器学习中，比如分类问题，如果把结果当作是概率分布来看，标签表示的就是数据真实的概率分布，由logistic函数和softmax函数产生的结果其实是对于数据的预测分布，预测分布和真实分布差值叫做KL散度或者是相对熵...

【机器学习】LR回归（逻辑回归）和softmax回归

夹猪逃的博客

04-06

1605

LR回归（逻辑回归）和softmax回归1. LR回归Logistic回归的函数形式Logistic回归的损失函数Logistic回归的梯度下降法Logistic回归防止过拟合Multinomial Logistic Regression2. Softmax回归 1. LR回归 Logistic回归（Logistic Regression，简称LR）是一种常用的处理二类分类问题的模型在二分类问题中，把因变量y可能属于的两个类分别称为负类和正类，则因变量y∈{0, 1}，其中0表示负类，1表示正类。线性回归

深度学习（3）——softmax回归

weixin_45132473的博客

04-06

3232

深度学习之softmax实现

逻辑回归多分类之Softmax

ShawDa's Blog

12-03

1341

softmax多分类的假设函数为：在下面的公式中，1{}是示性函数，其取值规则为：1{取值为真的表达式}=1，1{取值为假的表达式}=0。举例来说，表达式 1{2+2=4}的值为1 ，1{5+2=4}的值为 0。softmax代价函数为：由此可推出逻辑回归二分类代价函数为：经过求导，梯度公式如下：所以参数更新： Reference： http://deeplearning.sta...

Softmax公式及梯度计算

阿辉的博客

07-11

1万+

softmax是一个多分类器，可以计算预测对象属于各个类别的概率。公式 yi=S(z)i=ezi∑j=1Cezj，i=1,...,Cy_i=S(\boldsymbol{z})_i = \frac{e^{z_i}}{\sum_{j=1}^{C}e^{z_j}}，i=1,...,Cyi=S(z)i=∑j=1Cezjezi，i=1,...,C z\boldsymbol{z}z是上一层的输...

Softmax回归 -- from ufldl wiki

xceman1997的专栏

07-15

2014

Stanford 教授 Andrew Ng 的 Deep Learning 教程的节选。原文地址：http://deeplearning.stanford.edu/wiki/index.php/Softmax%E5%9B%9E%E5%BD%92 Softmax回归Contents [hide]1 简介2 代价函数3 Softmax回归模型参数化的特点4 权重衰减5 Softmax回归与Logis

softmax代价函数的导数计算

Cheese_pop的博客

04-27

9509

对于softmax的理解请参考Ufldl教程，本文仅对代价函数求导部分进行推导softmax regression 代价函数： J(θ)=−1m⎡⎣∑i=1m∑j=1k1{y(i)=j}logeθTjx(i)∑kl=1eθTjx(i)⎤⎦ J(\theta)=-\frac{1}{m}\left[\sum_{i=1}^m\sum_{j=1}^k1\{y^\mathit{(i)}=j\}log\fra

机器学习常用模型：softmax模型

vir_lee的博客

06-24

1551

参考文章： 1. 神经网络中的softmax层为何可以解决分类问题——softmax前世今生系列(3) 2. softmax函数的正推原理——softmax前世今生系列(1) 文章目录1、softmax模型原理2、使用场景 1、softmax模型原理 Logistic模型只适合处理二分类问题，且在给出分类结果的同时还会给出结果的概率值。那么对于多分类问题，如果想要用类似的方法，输出分类结果的同时还给出概率，则可以使用softmax模型。 softmax公式如下： softmax=eni∑j=1kejn so

softmax回归(Softmax Regression)

天泽28的专栏

05-15

1万+

Softmax Regression 注：这篇博客是看NG的UFLDL_Tutorial写的博客笔记，其中大量文字和公式来自该网页，自己只添加了公式推导和实验编程部分。网址为：Link。本文主要从下几个方面介绍softmax回归（softmax regression）： softmax regression的代价函数softmax regression模型参数的特点权重衰减（收缩法

softmax及函数求导

ywm_up

09-22

6752

softmax 1. 概念 softmax 的核心在于 soft，而 soft 有软的含义，与之相对的是 hard 硬。很多场景中需要我们找出数组所有元素中值最大的元素，是指上都是求的 hardmax。 softmax 定义： softmax(zi)=ezi∑j=1nezj softmax(z_i) = \frac{e^{z_i}}{\sum^n_{j=1}e^{z_j}} softmax(zi)=∑j=1nezjezi 其中，ziz_izi 为第i个结点的输出值，n为输出结点的个数，即分类的类

用numpy计算softmax回归的代价函数

03-24

Softmax回归的代价函数可以使用交叉熵损失函数来计算。该函数可由以下式子表示：J=-1/m * ∑i∑j(yij log(aij) + (1-yij) log(1-aij))，其中m为样本数量，yij表示第i个样本的第j个标签的输出值，aij表示第i个样本的第j个标签的预测值。在使用numpy计算时，可以使用log函数和sum函数来计算交叉熵损失函数。