深度学习模型最后一层激活和损失函数

最新推荐文章于 2025-03-26 20:12:48 发布

XerCis

最新推荐文章于 2025-03-26 20:12:48 发布

阅读量3.7k

点赞数 6

分类专栏：机器学习文章标签：深度学习

本文链接：https://blog.csdn.net/lly1122334/article/details/89328719

版权

机器学习专栏收录该内容

56 篇文章

订阅专栏

本文探讨了深度学习中不同任务类型（如二分类、多分类、多标签分类及回归）与模型最后一层激活函数（sigmoid、softmax）及损失函数（binary_crossentropy、categorical_crossentropy、mse）之间的匹配关系。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

参考：《Python深度学习》

类型	最后一层激活	损失函数
二分类	sigmoid	binary_crossentropy
多分类单标签	softmax	categorical_crossentropy
多分类多标签	sigmoid	binary_crossentropy
回归到任意值	无	mse
回归到0-1	sigmoid	mse 或 binary_crossentropy

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

XerCis

关注关注

6
点赞
踩
23

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
打赏
打赏
打赏举报

举报

专栏目录

PyTorch深度学习实战（4）——常用激活函数和损失函数详解

盼小辉丶的博客

06-23

7188

激活函数和损失函数是深度学习模型中重要组成部分，激活函数和损失函数的选择很大程度上决定了深度神经网络的性能和精度，需要根据具体问题的特点和数据分布等因素进行选择。在本节中，将介绍深度学习中常见的激活函数和损失函数，并说明不同函数的常见应用场景。

Keras深度学习实战——深度学习中常用激活函数和损失函数详解

走向CTO的路上...

05-22

1349

本教程将介绍 Keras 深度学习框架中常用的激活函数和损失函数。激活函数用于引入非线性特性，使得神经网络能够更好地学习和模拟复杂的输入输出关系；损失函数用于度量模型预测结果与真实值之间的差异，选择合适的损失函数对于模型的训练至关重要。Keras 深度学习框架提供了简单易用的工具来选择和使用激活函数和损失函数，这使得深度学习技术可以更加广泛地应用。

参与评论您还未登录，请先登录后发表或查看评论

【深度学习】怎么为模型选择正确的最后一层激活和损失函数

qq_50458404的博客

07-13

1894

当我们构建完一个小型的卷积神经网络时，我们通常要考虑网络最后一层激活函数和损失函数的选择。以下分别讲解了部分激活函数和损失函数。激活函数是神经网络中对输入数据进行计算的非线性函数，如果没有激活函数的加持，那么神经网络仅仅对输入数据做简单的线性变化，只能解决线性问题。以下是一个二分类的任务，通过该分类任务我们来观察激活函数到底起到了什么作用。然而再加入了激活函数之后，我们便可以计算非线性的问题。上图经过激活函数之后，我们可以用一条曲线将其分开，分类的结果如下： 损失函数用来评价模型的预测值和真实值不一样的程

神经网络最后一层输出层用什么激活函数

sa726663676的博客

06-10

1万+

神经网络可以用在分类问题上，不过需要根据情况改变输出层的激活函数。一般而言，回归问题用恒等函数，分类问题用softmax函数。机器学习大致可以分为分类问题和回归问题。分类问题是数据属于哪一个类别的问题。比如，区分图像中的人是男性还是女性的问题就是分类问题。而回归问题是根据某个输入预测一个（连续的）数值问题。比如，根据一个人的图像预测这个人的体重的问题就是回归问题（类似“57.4kg”这样的预测）。...

整理一下损失函数（Loss Function）

最新发布

JiangKangbo的博客

03-26

848

损失函数（Loss Function）是机器学习和深度学习中用于量化模型预测值与真实值之间差异的函数，是模型优化的目标。通过最小化损失函数，模型逐步调整参数以提高预测准确性。不同任务和场景需要选择不同的损失函数。现在深度学习模型中最主要的梯度下降法就是基于损失函数的梯度来计算的，所以损失函数十分重要，常见的损失函数包括：均方误差是一种衡量预测值与真实值之间差距的指标。它计算的是所有预测误差（即预测值减去真实值）的平方之后的平均值。它先计算每一个样本的误差（预测值减真实值），然后平方（这样可以避免正负抵消，并

如何选择最后一层激活和损失函数--python深度学习

weixin_46726459的博客

06-03

370

Softmax 是用于多类分类问题的激活函数，在多类分类问题中，超过两个类标签则需要类成员关系。对于长度为 K 的任意实向量，Softmax 可以将其压缩为长度为 K，值在（0，1）范围内，并且向量中元素的总和为 1 的实向量。ReLU函数其实就是一个取最大值函数，注意这并不是全区间可导的，但是我们可以取sub-gradient，如上图所示。由于输出值限定在 0 到 1，因此它对每个神经元的输出进行了归一化；由于概率的取值范围是 0 到 1，因此 Sigmoid 函数非常合适；

直观理解神经网络最后一层全连接+Softmax

binger520886的博客

08-24

605

https://blog.csdn.net/blogshinelee/article/details/84826837

常见问题类型的最后一层激活和损失函数选择

qq_35419086的博客

01-14

3956

问题类型最后一层激活 损失函数 二分类问题 sigmoid binary_crossentropy 多分类、单标签问题 softmax categorical_crossentropy 多分类、多标签问题 sigmoid binary_crossentropy 回归到任意值无 mse 回归到0-1范围内的值 ...

Keras深度学习实战（4）——深度学习中常用激活函数和损失函数详解

盼小辉丶的博客

04-27

1万+

使用激活函数可以实现网络的高度非线性，这对于建模输入和输出之间的复杂关系非常关键，只有加入了非线性激活函数之后，深度神经网络才具备了令人惊异的非线性映射学习能力。利用损失函数计算损失值，模型就可以通过反向传播去更新各个参数，通过降低真实值与预测值之间的损失，使得模型计算得到的预测值趋近于真实值，从而达到模型训练的目的。激活函数和损失函数是神经网络中十分重要的组件，本节介绍深度学习中常用的激活函数和损失函数。.........

TensorFlow 2.0 深度学习实战 —— 详细介绍损失函数、优化器、激活函数、多层感知机的实现原理

风尘浪子

03-28

6689

本文主要介绍了 MSE、MAE、CEE 、Hinge、Huber 等 15 个常用损失函数的计算方式和使用场景，讲解 SGD、AdaGrad、Adam、RMSProp 4类优化器的公式原理，对阶跃激活函数、Sigmoid 激活函数、ReLU激活函数、Leaky ReLU 激活函数、Tanh 激活函数、Softmax激活函数等进行分析。通过分类与回归的使用实例对 MLP 多层感知器的使用进行介绍，对比 Tensorflow 1.x 与 Tensorflow 2.x 在应用上区别。最后，讲解如何使用 dropo

网络七层模型

qq_49124206的博客

04-13

2400

OSI网络七层模型 1、物理层建立、维护、断开物理连接（网卡、网线、光纤、集线器、中继器调制解调器等） 2、数据链路层局域网，MAC地址标识物理设备位置有唯一性（相当于电脑的身份证，每个PC有且只有一个MAC地址） 3、网络层在不同网络时，路径的选择，IP地址（相当于电脑所在地方的住址，随着地区变化也有变化） 4、传输层 TCP/UDP等协议及协议端口号的传输，效验 TCP通常是访问网站等特点是安全、稳定。 UDP是QQ这一类的特点是速度快。 5、会话层建立会话，连接关系，建立连接到断开，会话层的控

最全深度学习激活函数详解

weixin_37817275的博客

06-05

288

为什么使用激活函数当我们不用激活函数时，权重和偏差只会进行线性变换。线性方程很简单，但解决复杂问题的能力有限。没有激活函数的神经网络实质上只是一个线性回归模型。 Relu (Rectified linear unit) 输出范围: [0,+∞] 公式： y={x,x>00,x<=0 y=\left\{ \begin{aligned} x , x>0 \\ 0 , x<=0\\ \end{aligned} \right. y={x,x>00,x<=0 Sigmiod

常用深度学习模型理论简介

FPGA/MATLAB学习教程/源码/项目合作开发

04-05

4108

在机器翻译（如Google的Transformer论文）、文本分类、问答系统、文本生成等领域取得革命性进展，是现代NLP模型（如BERT、GPT系列）的基础。近年来兴起的一种生成模型，基于扩散过程逐步将高斯噪声转化为数据样本可以用于图像生成、图像编辑、音频合成、3D形状生成等任务，以其高质量生成效果和可控性受到关注。卷积神经网络（Convolutional Neural Network, CNN）是一种特殊的深度神经网络，专为处理具有网格结构（如图像、视频、音频波形、序列数据等）的数据而设计。

python实现神经网络

sinat_26545113的博客

10-16

580

# P 141 import numpy as np class NeuralNetwork: def __init__(self,layers,alpha=0.1): # initialize the list of weights matrices, then store the # network architecture and learni...

Tensorflow 的安装和用InceptionV3训练新的图像分类模型