Logistic softmax 分类

已于 2022-04-21 21:09:30 修改
阅读量101 收藏
点赞数
文章标签： python
于 2022-04-19 16:43:21 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/xch529030645/article/details/108568927
版权

Logistic softmax 分类

一、交叉熵损失函数

1、信息量

信息奠基人香农（Shannon）认为“信息是用来消除随机不确定性的东西”，也就是说衡量信息量的大小就是看这个信息消除不确定性的程度。

消除概率越小的事件的不确定性，信息量越大
比如 成功中彩票

设某一事件概率为 P(x), 则信息量为
I(x)=-log(P(x))
log 以 e 为底数
 

2、信息熵

信息熵表示所有信息量的期望

H(x)=-\displaystyle\sum_{i=1}^NP(x)log(P(x))

3、相对熵（KL散度）

如果对于同一个变量 X 有两个单独的概率分布 P(x), Q(x) ，则可以用KL散度来衡量两个分布之间的差异

D_{KL}(p||q)=\displaystyle\sum_{i=1}^Np(x_i)log(\cfrac{p(x_i)}{q(x_i)})

在机器学习中，p(x_i) 代表真实分布，q(x_i) 代表预测分布

4、交叉熵

DK散度=

\displaystyle\sum_{i=1}^Np(x_i)log(p(x_i)) - \displaystyle\sum_{i=1}^Np(x_i)log(q(x_i)) \\ = -H(x)+\bigg(-\displaystyle\sum_{i=1}^Np(x_i)log(q(x_i))\bigg) \\ =\bigg(-\displaystyle\sum_{i=1}^Np(x_i)log(q(x_i))\bigg)-H(x)

KL散度=交叉熵-信息熵

所以交叉熵=

H(p,q)=-\displaystyle\sum_{i=1}^Np(x_i)log(q(x_i))

在机器学习的过程中，信息熵是个常量，所以只要计算交叉熵

二、Softmax

1、Softmax公式

a_i=\frac{e^{Z_i}}{ \displaystyle\sum_{k=1}^{N} e^{Z_k}}

Z_i=\omega_i ^T x

可以看作是一个没有隐层的神经网络，softmax作为激活函数

2、交叉熵损失函数

L=-\displaystyle\sum_{j}y_j loga_i

求导：

\frac{\partial L}{\partial \omega_i}=-\displaystyle\sum_{j}y_j\frac{1}{a_i}\frac{\partial a_i}{\partial \omega_i}

\frac{\partial a_i}{\partial \omega_i}  分两种情况

第一种：i=j 

以上图为例，\frac{e^{y_1}}{e^{y_1}+e^{y_2}+e^{y_3}} 对 y_1 求偏导。

xch529030645
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
（详细全面）softmax和log_softmax的联系和区别,NLLLOSS和CrossEntropyLoss的联系和区别
qq_43391414的博客
07-02 9450
1.softmax 作用：实现了将n维向量变成n维全为正数，且和为1的向量，在深度学习中可以解释为这个输入属于n个类别的概率。 例子： import torch.nn.functional as F inp1=torch.Tensor([1,3,6]) print(inp1) print(F.softmax(inp1,dim=0)) print("#############") inp2=torch.Tensor([2,2,2]) print(
【机器学习】逻辑回归logit与softmax
种一棵树最好的时间是十年前，其次是现在
09-13 1163
原理很简单：给定一个实例x，Softmax回归模型首先计算出每个类k的分数sk（x），然后对这些分数应用softmax函数（也叫归一化指数），估算出每个类的概率。与线性回归模型一样，逻辑回归模型也是计算输入特征的加权和（加上偏置项），但是不同于线性回归模型直接输出结果，它输出的是结果的数理逻辑值。所以如果是正类，逻辑回归模型预测结果是1，如果是负类，则预测为0。上述函数保证了如果正类的概率值被判定接近0，及负类的概率接近1，成本函数的值都会非常高。交叉熵的值越小，y和y预测这两个分布间越接近。
【机器学习】Logistic与Softmax回归详解
最新发布
chen695969的博客
04-10 1335
通过深入探讨逻辑回归、Softmax函数、MSE、交叉熵以及偏置项等机器学习核心概念，我们可以看到它们在模型构建和优化过程中的重要性。理解这些概念不仅有助于我们设计出更有效的模型来解决实际问题，而且也是深入学习更复杂机器学习算法和模型的基础。随着技术的不断进步，对这些基础知识的深入理解将使我们更好地掌握人工智能领域的未来发展。
logistic回归分类与softmax回归
奔跑的小仙女
10-21 8858
目录 Logistic回归 逻辑回归的定义式： 损失函数 梯度下降 Logistic回归防止过拟合： Softmax回归： loss函数 逻辑回归与Softmax回归的联系 与神经网络的关系 logistic回归（多分类）和softmax的关系： YOLOV3中的逻辑分类应用 Logistic回归 Logistic回归（LR）：是一种常用的处理二分类问题的模型。 二分类...
如何理解K-L散度（相对熵）
GoodShot的专栏
10-21 3821
Kullback-Leibler Divergence，即K-L散度，是一种量化两种概率分布P和Q之间差异的方式，又叫相对熵。在概率学和统计学上，我们经常会使用一种更简单的、近似的分布来替代观察数据或太复杂的分布。K-L散度能帮助我们度量使用一个分布来近似另一个分布时所损失的信息。 K-L散度定义见文末附录1。另外在附录5中解释了为什么在深度学习中，训练模型时使用的是Cross Entropy...
Logistic & softmax
Ben_Ben_Niao
05-30 1545
最近研究类二分类，和多分类，发现对Logistic&softmax的原理理解不深，难以达到灵活运用修改，所以今天总结一下，使自己加深印象。为了节约时间，只写关键步骤。 首先Logistic regression是针对0/1分类，而softmax是在Logistic基础上的多目标分类，输出是对应类的概率，概率最大的作为我们分类器判断出来的类别。 首先讲解Logistic regression:
softmax分类 独热编码
01-20
softmax分类和独热编码是机器学习领域中处理多分类问题的两种重要技术。在神经网络中，softmax函数常被用作输出层，将网络的原始输出转换为概率分布，使得每个样本可以被分配到一个类别，同时确保这些概率之和为1。 ...
基于pytorch的logistic与softmax回归模型python代码
12-11
**基于PyTorch的Logistic与Softmax回归模型** 在深度学习领域，Logistic回归和Softmax回归是两种基础但非常重要的模型。它们通常用于分类问题，尤其是二分类和多分类任务。PyTorch是一个流行的深度学习框架，以其...
MINIST分类.zip
10-10
总的来说，MNIST数据集为机器学习实践提供了很好的实验场，而MATLAB作为强大的数学计算工具，为实现logistic和softmax分类提供了便利。理解并掌握这些基本的分类方法，对深入理解机器学习的原理和实践具有重要意义。...
logistic函数和softmax函数1
08-03
Logistic函数和Softmax函数是机器学习中两种重要的函数，它们主要在分类任务中起到关键作用。Logistic函数，又称为sigmoid函数，主要用于二分类问题，而Softmax函数则是其在多分类问题上的扩展。 Logistic函数的...
log_softmax
01-07
参考：https://blog.csdn.net/qq_28418387/article/details/95918829 python版softmax： def softmax(x, axis=1): # 计算每行的最大值 row_max = x.max(axis=axis) # 每行元素都需要减去对应的最大值，否则求exp(x)会溢出，导致inf情况 row_max = row_max.reshape(-1, 1) x = x - row_max # 计算e的指数次幂 x_exp = np.exp(x) x_sum = np
2_Softmax_classfier_softmax_分类_ring31p_python_
10-01
`scikit-learn`提供了一个内置的`LogisticRegression`类，可以设置`multi_class='multinomial'`参数来启用Softmax分类。如果选择自定义实现，通常包括以下步骤： 1. 初始化模型参数：权重矩阵和偏置项。 2. 前向...
很大的logit如何合适地进行 Softmax？
Le0v1n 的博客
05-06 374
如何合适地处理数值很大的logit。提供了两种方法。
一文搞懂交叉熵在机器学习中的使用，透彻理解交叉熵背后的直觉
热门推荐
史丹利复合田的博客
01-25 25万+
关于交叉熵在loss函数中使用的理解 交叉熵（cross entropy）是深度学习中常用的一个概念，一般用来求目标与预测值之间的差距。以前做一些分类问题的时候，没有过多的注意，直接调用现成的库，用起来也比较方便。最近开始研究起对抗生成网络（GANs），用到了交叉熵，发现自己对交叉熵的理解有些模糊，不够深入。遂花了几天的时间从头梳理了一下相关知识点，才算透彻的理解了，特地记录下来，以便日后查阅。
深度学习基础（一） —— softmax 及 logsoftmax
人工智能
03-15 1万+
softmax：重新定义了多层神经网络的输出层（output layer），注意仅和输出层有关系，和其他层无关。 softmax function，也称为 normalized exponential（指数族分布的观点）； 1. softmax 我们知道在神经网络的前馈（feedforward）的过程中，输出层的输入（input）为：  zLj=∑kwLjk⋅aL−
理论学习：logits softmax
llf000000的博客
03-11 1311
模型的输出层通常会应用一个激活函数，例如Softmax函数，将Logits转换为概率分布。Logits通常是线性函数的输出结果，在应用激活函数之前。在线性函数之后，通常会应用一个激活函数，例如Softmax函数或Sigmoid函数，将Logits转换为概率或者范围在[0, 1]之间的实数。在训练过程中，模型通过比较Logits和真实标签之间的差异来计算损失，并通过反向传播算法来更新模型的参数。总而言之，Logits是指模型输出层在应用激活函数之前的原始预测值，它提供了模型对不同类别的置信度或得分信息。
分类算法---logistic回归、softmax回归、KNN、决策树
weixin_46402349的博客
05-24 1126
目录 1、logistic回归 2、softmax回归 3、KNN 4、决策树 1、logistic回归 本质：二分类算法，计算的是样本x属于某一个类别的概率为p，样本属于另一个类别的概率为1-p. 最终认为样本x属于概率较大的那一个类别。 2、softmax回归 softmax是一个多分类算法。需要计算样本属于某一个类别的概率。最终认为：样本属于概率最大的那一个类别。 softmax会为每一个类别训练一个参数theta向量，所以在softmax需要求解的参数是由...
【总结】PyTorch多分类log_softmax、softmax的中文手册
江南蜡笔小新
04-01 3914
【总结】PyTorch多分类log_softmax、softmax的区别与联系 log_softmax、softmax在F和nn中存在，在此主要介绍nn 1.softmax torch.nn.functional.softmax (Python function, in torch.nn.functional) torch.nn.Softmax (Python class, in torch.n...
softmax+log_softmax理解与使用（为什么可以常用在分类交叉损失熵）
图挖掘领域，新晋砖家 ☞ 未来可期，欢迎和静静一起学习交流吖
01-19 913
转载 1）softmax softmax是一种指数归一化函数。 输入为向量，输出为值为0-1之间的向量，和为1。在分类任务中作为概率出现在交叉熵损失函数中。 import numpy as np data=np.array([0.1, 0.3, 0.6, 2.1 ,0.55]) np.exp(data)/np.sum(np.exp(data)) # softmax array([0.07795756, 0.09521758, 0.12853029, 0.57603278,
logistic回归和softmax回归
06-06
Logistic回归和Softmax回归都是分类算法。Logistic回归是二分类算法，用于将数据分为两类。Softmax回归是多分类算法，用于将数据分为多个类别。它们都是基于概率模型的分类算法，通过对数据进行建模，得出每个类别的...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

xch529030645

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值