损失函数的研究，二元分类和多分类（LR 和softmax）

最新推荐文章于 2024-07-08 18:23:29 发布
最新推荐文章于 2024-07-08 18:23:29 发布
阅读量6.4k 收藏 17
点赞数 2
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/PythonstartL/article/details/83045277
版权
本文深入探讨了二元分类和多分类问题，重点解析了逻辑回归及其对数损失函数，以及softmax分类。通过分析损失函数，解释了为何在逻辑回归中特征相关性不影响结果，并介绍了不同梯度下降法在求解过程中的应用。同时，简要提及了softmax在多分类问题中的概率建模。
摘要由CSDN通过智能技术生成

简介

在做GBDT的时候遇到的一个坑现在把它填上。

二元分类和多分类的问题形式上看去简单，但是当我们仔细思考的时候还是有很多坑的。我再也不敢说自己精通Logistic模型了，本来以为都掌握了原理，其实并不然。

损失函数一般分为四种，平方损失函数、对数损失函数、softmax损失函数、hingeloss损失函数。平方损失函数很容易理解，一般用于回归问题。这里就不做讲解了。

逻辑回归与对数损失函数

这部分内容主要参照了https://www.cnblogs.com/ModifyRong/p/7739955.html，写的非常非常好，我这篇对数损失函数几乎是照着这个写的，对一些问题的解答加上自己的理解

一句话概括逻辑回归：逻辑回归就是假设数据服从伯努利分布，通过极大似然法，用梯度下降去求解参数，得到最大的概率，最后让数据能够二分类。

逻辑回归的基本假设有：

假设1：假设数据服从伯努利分布。伯努利分布有一个简单的例子是抛硬币，抛中为正面的概率是p,抛中为负面的概率是1−p.在逻辑回归这个模型里面是假设 hθ(x) 为样本为正的概率

假设2：样本为正的概率为

假设3：我们的目标函数是极大似然函数最大化：

最低0.47元/天 解锁文章
PythonstartL
关注
  • 2
    点赞
  • 踩
  • 17
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
softmax多分类.rar
03-21
它不仅用于模型的前向传播过程中，还常用于损失函数的计算，如交叉熵损失（cross-entropy loss），这是许多多分类问题的标准损失函数。在反向传播时，softmax的导数也会被用来更新模型的参数。因此，深入理解softmax...
tensorflow 分类损失函数使用小记
09-17
本篇小记将重点探讨在TensorFlow中如何使用分类损失函数，特别是`sparse_categorical_crossentropy`和`categorical_crossentropy`，以及它们与二分类损失函数`BinaryCrossentropy`之间的差异。 首先，我们来看多...
损失函数：BCE Loss（二元交叉熵损失函数）、Dice Loss（Dice相似系数损失函数）
FriendshipTang的博客
04-10 6357
Python、PyTorch、人工智能、损失函数
机器学习损失函数选择
Taiyang625的博客
09-30 732
深度学习，激活函数，损失函数，随记
逻辑回归中的损失函数
最新发布
m0_53881899的博客
07-08 755
逻辑回归中的损失函数
【深度学习】分类和分割常见损失函数
wuli_xin的博客
08-06 2218
分类是一种监督机器学习任务，其中训练模型来预测给定输入数据点的类或类别。分类旨在学习从输入特征到特定类或类别的映射。有不同的分类任务，例如二元分类、多类分类和多标签分类。是一项训练模型来预测电子邮件的两个类别之一的任务，例如“垃圾邮件”或“非垃圾邮件”。是一项训练模型来预测图像的多个类之一的任务，例如“狗”、“猫”和“鸟”。是一项训练模型来预测单个数据点的多个标签的任务，例如公园里狗的图像的“狗”和“户外”。分类算法可以基于决策树、朴素贝叶斯、k 最近邻、支持向量机、随机森林、梯度提升、神经网络等技术。
ML（机器学习）softmax函数实现简单电影类别的二分类
Mr.Pan_学狂
02-14 1577
我接着跟大家分享一波softmax函数。表达式如下： y = exp(input_data) / sum(exp(input_data)) 简单解释一下，就是将输入数据进行指数化，然后再除以输入数据指数化后数据的求和。 代码实现如下： import numpy as np import matplotlib.pyplot as plt import os import time def softmax(inx): exp_input = np.exp(inx) sum_exp = np.s
【机器学习笔记2.5】用Softmax回归做二分类（Tensorflow实现）
春播秋忙
02-18 3708
Softmax回归和逻辑回归的区别   在本节中，我们介绍Softmax回归模型，该模型是logistic回归模型在多分类问题上的推广，在多分类问题中，类标签yyy可以取两个以上的值[1]。当类别数k=2k=2k=2时，softmax 回归退化为 logistic 回归。 Softmax回归 vs. k个logistic回归   如果你在开发一个音乐分类的应用，需要对k种类型的音乐进行识别，那么是...
Keras中的多分类损失函数用法categorical_crossentropy
09-16
本文主要讨论Keras中用于多分类任务的损失函数`categorical_crossentropy`，以及它与`binary_crossentropy`的区别和应用。 `categorical_crossentropy`是Keras中常用的损失函数，特别适用于处理多分类问题。在多...
PyTorch: Softmax多分类实战操作
09-16
在多分类问题中，常用的损失函数是交叉熵损失`nn.CrossEntropyLoss()`，它结合了LogSoftmax和负对数似然损失。优化器可以选择Adam或SGD等，如`optim.SGD(model.parameters(), lr=0.001)`。接着，我们可以在训练集上...
python _softmax多分类.rar
03-20
1. **Softmax函数**：Softmax函数是多分类问题中常用的一种激活函数，它将一组实数值转换为概率分布。公式为：`softmax(xi) = exp(xi) / Σ(exp(xj))`，其中`exp()`是指数函数，`Σ`表示对所有元素求和。每个输出值...
分类损失函数多元分类_二元分类为什么不能用MSE做为损失函数？
weixin_39557087的博客
12-23 384
如果要具体地说的话，那是因为用MSE作为二元分类的损失函数会有梯度消失的问题。给你推导一番：$loss=\sum^{N}_{i}(y_{i}-\sigma(w^{T}x_{i}))^{2}$ ,其中$\sigma(w^{T}x_{i})=\frac{1}{1+exp(-w^{T}x_{i})}$$\frac{\partial loss}{\partial w}=\sum^{N}_{i}(-2...
Sigmoid和Softmax在二分类中使用的区别与实现
whocare的博客
04-01 4053
对于二分类有三种实现方式： 1. nn.Linear(input, 1) + sigmoid + BCELoss 全连接输出维度为1，使用sigmoid将输出映射到0,1之间 self.outputs = nn.Linear(input, 1) def forward(self, x): # other layers omitted x = self.outputs(x) return torch.sigmoid(x) 那么在这种情况下，我们使用torch.
【机器学习】 二次损失函数的不足及交叉熵损失softmax详解
qq_32742009的博客
07-30 2037
二次代价函数的不足： 以sigmoid激活函数为例，由于初始化是随机的，假设目标值为0，第一次随机初始化使得输入为0.82，那么还可以，多次迭代之后可以收敛到0.09，但如果第一次随机初始化到0.98，由于sigmoid激活函数的性质，就会使得梯度特别小，从而即使迭代次数特别大，也很难收敛到一个较好的值。故实验二的输出0.2很不理想。 这个时候就需要引入交叉熵损失。当然我们可以更换激活...
python-tensorflow实现softmax二分类（精度0.71，待改进）
xingghaoyuxitong的博客
10-21 550
import numpy as np import matplotlib.pyplot as plt import tensorflow as tf import random '''Tensorflow实现分类任务''' '''先实现二分类''' def binary_classification(): learningRate = 0.005 #构建分类数据 x1 = np.arange(-10,10,0.01).reshape(-1,1) x2 = np.aran.
机器学习算法之多分类softmax回归
RayChiu757374816的博客
10-15 1203
目录 逻辑回归的Sigmoid和 Softmax的区别和关系 区别 联系 回头看softmax公式的由来 推导过程 证明多项分布属于指数分布族 关于损失函数 前边我们说到二分类用逻辑回归算法，多分类场景还是得上softmax回归。 逻辑回归的Sigmoid和 Softmax的区别和关系 区别 Sigmoid ： Softmax 函数： 对于一个长度为 K 的任意实数矢量，Softmax 可以把它压缩为一个长度为 K 的、取值...
python实现分类算法_softmax分类算法原理(用python实现)
weixin_39724004的博客
12-06 586
逻辑回归神经网络实现手写数字识别1 - 导入模块import numpy as npimport matplotlib.pyplot as pltfrom PIL import Imagefrom ld_mnist import load_digits%matplotlib inline2 - 导入数据及数据预处理mnist = load_digits()Extracting C:/Users/...
深度学习基础(一）:sigmoid/softmax/cross Entropy
qq_37534947的博客
07-16 861
在分类中，首先对于Logistic回归: 从上图可以看出， 很明显，其输出f(x;wb)主要是一些连续的实数，可以用于线性回归，但是对于分类问题无法进行直接进行分类预测，这里需要引入非线性的决策函数g(.)—这里我认为就是激活函数，使其输出从连续的实数转换到一些离散的标签。 对于激活函数，可分为一下： 其中tanh、relu、以及leaky relu激活函数相比sigmoid和softmax不适用与分类，其主要的作用以及差别见链接--------待 这里主要来介绍sigmoid和softmax激活函数，
机器学习二元分类 & 二元交叉熵 & 二元分类例子
分享计算机视觉，C++，嵌入式等知识。
11-20 768
深度学习中的二元分类损失函数通常采用二元交叉熵（Binary Cross-Entropy）作为损失函数。其中，y是真实标签，y_pred是模型预测的概率。
多分类的对数损失函数softmax
05-05
softmax函数通常用于多分类问题中，其将一个向量映射为另一个向量，使得向量中的每个元素均为非负实数且和为1。在softmax函数中，对于一个具有n个元素的向量z=(z1,z2,...,zn)，其第i个元素的输出为： softmax(z)i=...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值