深度学习中常见的激活函数与损失函数的选择与介绍

最新推荐文章于 2024-08-08 10:57:38 发布
最新推荐文章于 2024-08-08 10:57:38 发布
阅读量3.5k 收藏 35
点赞数 1
分类专栏： 计算机视觉 文章标签： 深度学习 激活函数 损失函数
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_39226755/article/details/89355974
版权
本文介绍了深度学习中常用的激活函数Sigmoid、Softmax、tanh和ReLU，讨论了它们的优缺点和适用场景。特别是ReLU，因其解决梯度消失问题和提升计算效率而在深层网络中广泛使用。
摘要由CSDN通过智能技术生成

当我们初学深度学习时，对于激活函数和损失函数的选择并不了解，这里提出一些建议,需要注意的是，这里给的是最后一层的激活函数

问题类型 最后一层激活函数 损失函数
二分类问题 sigmoid binary_crossentropy
多分类、单标签问题 softmax categorical_crossentropy
多分类、多标签问题 sigmoid binary_crossentropy
回归到任意值 无 mse
回归到 0~1 范围内的值 sigmoid mse 或 binary_crossentropy

sigmoid激活函数：

函数公式如下：
在这里插入图片描述
在这里插入图片描述
函数图像如下：
在这里插入图片描述

优点：

  1. Sigmoid的取值范围在(

最低0.47元/天 解锁文章
(DᴗD)B
关注
专栏目录
python 深度学习中的4种激活函数
09-24
这四种激活函数各有优缺点，选择哪种激活函数取决于具体的深度学习任务和数据特性。在实践中，ReLU及其变体（如Leaky ReLU，参数化ReLU等）因为其快速的收敛性和较低的计算成本而被广泛采用。而SoftMax则在多分类...
机器学习之路二：激活函数，损失函数
W_H_M_2018的博客
04-23 2268
激活函数 激活函数有什么用？ 　　引入非线性因素。　 　　在我们面对线性可分的数据集的时候，简单的用线性分类器即可解决分类问题。但是现实生活中的数据往往不是线性可分的，面对这样的数据，一般有两个方法：引入非线性函数、线性变换。 线性变换 　　就是把当前特征空间通过一定的线性映射转换到另一个空间，让数据能够更好的被分类。 激活函数（非线性函数） 　　激活函数是如何引入非线性因素的呢？在...
深度学习-损失函数
dongkun152的专栏
08-28 535
深度学习-损失函数 损失函数 获得损失函数在花书中就是两种方式，均方误差和最大似然（Maximum likelihood），在回归问题中，均方误差和最大似然得出的结果是一样的。 大多数情况下，我们的参数模型定义了一个分布p(y∣x;θ)p(y|x;\theta)p(y∣x;θ)并且我们简单实用最大似然原理。这意味着我们实用训练数据和模型预测之间的交叉熵作为代价函数 大多数现代的神经网络实用最大似然来训练。这意味着代价函数就是负的对数似然，它与训练数据和模型分布之间的交叉熵等价。这个代价函数表示为 J(θ)=
深度学习中常见激活函数和损失函数（持续更新）
最新发布
2303_79426621的博客
08-08 1169
本文为作者日常学习中遇见的激活和损失函数，对函数进行统一总汇，方便大家和自己了解使用，初次涉及，有误的地方，请各位大佬指教。同时本文将会持续更新学习中遇到的激活和损失函数
【深度学习】怎么为模型选择正确的最后一层激活和损失函数
qq_50458404的博客
07-13 1765
当我们构建完一个小型的卷积神经网络时，我们通常要考虑网络最后一层激活函数和损失函数的选择。以下分别讲解了部分激活函数和损失函数。激活函数是神经网络中对输入数据进行计算的非线性函数，如果没有激活函数的加持，那么神经网络仅仅对输入数据做简单的线性变化，只能解决线性问题。以下是一个二分类的任务，通过该分类任务我们来观察激活函数到底起到了什么作用。 然而再加入了激活函数之后，我们便可以计算非线性的问题。上图经过激活函数之后，我们可以用一条曲线将其分开，分类的结果如下： 损失函数用来评价模型的预测值和真实值不一样的程
神经网络模型简介及常见的损失函数
chengjinpei的博客
04-19 9265
神经网络模型常见的损失函数 1.神经网络模型简介 神经网络模型一般包含输入层、隐含层和输出层，每一层都是由诸多神经元组成。输入层神经元的个数一般和输入模型的特征（单个样本的维数）有关，输出层神经元的个数与项目任务有关，隐含层的个数一般根据经验设置即可。 对于神经网络模型而言，根据不同的输出任务而言，可以分成模式分类和模式回归两大问题。在训练神经网络时，往往采用基于梯度下降的方法不断去缩小预测值和真实值之间的差值，而这个差值就叫做损失（Loss）,计算该损失的函数就叫做损失函数（Loss function）
重新梳理神经网络
yychentracy的博客
09-05 293
卷积神经网络的结构介绍 卷积核是一组随机初始化的数的序列 每个神经元只需要在局部进行感知，然后在高层将局部信息综合起来就得到全局信息。所以局部感受野就能很好的降低参数。 卷积的目的是为了提取特征，根据局部感受野一小块一小块的比对，在两幅图中大致相同的位置找到一些粗糙的特征进行匹配，相比那些整副图逐一比对的方式，CNN这种小块匹配方式更好的比较两幅图像之间的相似性。 CNN的基本结构包含两个部分：特...
CNN学习（一）
jmhIcoding
09-03 1251
前言本系列文章介绍学习CNN的过程，并结合Tensorflow来使用CNN进行图像的识别CNN概述卷积神经网络是在普通的BP全连接的基础上发展而来的，CNN重点就为了解决BP全连接网络中因为网络权值参数过多而导致的无法训练的问题，CNN提出的局部连接、权值共享、池化技术都是出于减少网络参数的目的。如下图所示： 假如我们的网络模型是： 输入层->一层隐含层->输出层 样图是100
常见激活函数excel图
08-07
常见激活函数的图，用excel画的，有图有数据，高清缩放不变形，论文必备，包括Sigmoid、Tanh、ReLU、LeakyReLU
深度学习算法的激活函数研究.pdf
08-18
深度学习算法的激活函数研究是深度学习领域中的重要研究方向。激活函数是深度学习算法中的一种重要组成部分，可以引入非线性因素，提高算法的优化和泛化能力。大量学者通过提出或改进激活函数的方法提高了算法的优化...
PyTorch 激活函数、损失函数、优化器-谢TS的博客.pdf
07-17
本篇文章将深入探讨激活函数、损失函数以及优化器这三大关键概念，并结合PyTorch API进行介绍。 1. **激活函数**： - 激活函数是神经网络中的核心组件，它们为网络引入非线性，从而使其能够处理非线性可分的数据。...
直观描述 数学推导 损失函数到第一层权重 到第二层权重 半符号推导
08-17
直观描述 数学推导 损失函数到第一层权重 到第二层权重 半符号推导
神经网络中的损失函数
热门推荐
wmsbeijing的专栏
12-10 1万+
cnn进行前向传播阶段，依次调用每个Layer的Forward函数，得到逐层的输出，最后一层与目标函数比较得到损失函数，计算误差更新值，通过反向传播逐层到达第一层，所有权值在反向传播结束时一起更新。 loss layer 是CNN的终点，接受两个Blob作为输入，其中一个是CNN的预测值，另一个是真实标签。损失层则将这两个输入进行一系列运算，得到当前网络的损失函数（Loss Function
深度学习常见问题分类的最后一层激活函数和损失损失函数
qq_35672147的博客
12-21 1903
干货 | 深度学习之损失函数与激活函数的选择
机器学习算法与Python学习
09-19 4986
微信公众号关键字全网搜索最新排名【机器学习算法】：排名第一【机器学习】：排名第二【Python】：排名第三【算法】：排名第四前言在深度神经网络（DNN）反向传播算法(BP)中，我们对DNN的前向反向传播算法的使用做了总结。其中使用的损失函数是均方差，而激活函数是Sigmoid。实际上DNN可以使用的损失函数和激活函数不少。这些损失函数和激活函数如何选择呢？以下是本文的内容。MSE损失+Sigmoi
[深度学习基础]激活函数和损失函数
pipipapaboom的博客
11-29 3750
Sigmoid函数的图像如下图所示，其函数曲线在坐标轴上呈现"S"型，经典的S型分布是正态分布的累积分布函数，由于神经网络当中的变量、数据样本分布通常具有正态分布的特性，因此需要Sigmoid函数加入网络模型当中辅助神经网络更好地拟合数据分布。使用Sigmoid的另外一个原因在于该函数的值域为[0,1]，可以用于输出预测概率值。激活函数通常分为线性激活函数和非线性激活函数，因此激活函数的类型决定了网络该层的输出是线性的还是非线性的，并且激活函数的选择也对神经网络性能、模型收敛速率起到了很大的影响作用。
深度学习：激活函数、损失函数、优化函数的区别
Stone_石头
09-15 7829
激活函数：将神经网络上一层的输入，经过神经网络层的非线性变换转换后，通过激活函数，得到输出。常见的激活函数包括：sigmoid, tanh, relu等。https://blog.csdn.net/u013250416/article/details/80991831 损失函数：度量神经网络的输出的预测值，与实际值之间的差距的一种方式。常见的损失函数包括：最小二乘损失函数、交叉熵损失函数、回归中...
机器学习中常用的几种函数——激活函数、损失函数
lucky_chaichai的博客
01-02 1909
sigmoid等激活函数、loss损失函数
【机器学习】损失函数的选择总结
sbb8177919的博客
10-22 910
选择损失函数是深度学习中的关键决策，因为在不同的项目中，有些损失函数计算的损失梯度下降得快，而有些下降得慢。所以选择损失函数通常取决于任务的性质，例如是回归问题、分类问题、还是其他任务，在后面我们会详细介绍。
深度学习：激活函数特性与选择指南
"这篇内容主要讨论了机器学习中激活函数的重要性以及各种常见激活函数的特点、优缺点，并提供了选择激活函数的指导原则。" 在神经网络的设计中，激活函数扮演着至关重要的角色。它们引入了非线性，使得神经网络能够...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值