（二）深度学习入门之多分类问题的激活函数、损失计算、梯度下降

最新推荐文章于 2024-06-07 17:39:41 发布
最新推荐文章于 2024-06-07 17:39:41 发布
阅读量4.9k 收藏 4
点赞数 1
分类专栏： 深度学习

当需要实现多组输出时，可以使用多组权值向量。
在这里插入图片描述
二分类问题使用的激活函数通常如下
在这里插入图片描述
多分类问题使用的激活函数如下
在这里插入图片描述
常见的两种损失计算公式如下，后者更适合多分类问题
在这里插入图片描述
梯度下降法的结构
在这里插入图片描述
应该注意学习率的选取
在这里插入图片描述
TensorFlow使用声明式编程
在这里插入图片描述
在这里插入图片描述

xuzkbd
关注
  • 1
    点赞
  • 踩
  • 4
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
（深度学习快速入门）第三章第三节2：深度学习必备组件之损失函数和激活函数
快乐江湖的博客
01-08 436
损失函数（loss function）：深度学习中所有算法的目标都是为了最小化或最大化一个函数，称之为损失函数或者是目标函数、代价函数，损失函数是衡量模型的效果苹果
Pytorch入门深度学习（11）——导数、梯度下降、激活函数
wa1tzy的博客
06-04 280
一、概念 1）什么是切线 2）导数的几何意义 导数的写法： 3）什么是梯度 梯度的本意是一个向量（矢量），表示某一函数在该点处的方向导数沿着该方向取得最大值。 4）梯度下降法 5）导数为0的意义 a.不能确定是不是最小值 b.不能直接求导，算出w（因为不知道公式是什么） c.导数为0即没有差距，没有差距，不可能存在，网络无法学习（梯度弥散） 6）LR学习率 是一个超参数 7）激活函数 提供非线性能力 性质：处处可微分（连续可导）；定义域在-1,1之间的梯度很大，而在其他地方梯度很小 二、代码 i
三、深度学习基础4（激活函数2）
myani的博客
04-25 1012
如何选择激活函数 选择一个适合的激活函数并不容易，需要考虑很多因素，通常的做法是，如果不确定哪一个激活函数效果更好，可以把它们都试试，然后在验证集或者测试集上进行评价。然后看哪一种表现的更好，就去使用它。 以下是常见的选择情况： 1、如果输出是 0、1 值（二分类问题），则输出层选择 sigmoid 函数，然后其它的所有单元都选择 Relu 函数。 2、如果在隐藏层上不确定使用哪个激活函数，那么通常会使用 Relu 激活函数。有时，也会使用 tanh 激活函数，但 Relu 的一个优点是：当是负值的时候，
二分类函数（机器学习）
公众号：风景邮递Yuan的博客
11-14 1837
推理时，我们预先设定一个阈值比如 0.5，则当推理结果大于 0.5 时，认为是正类；阈值也不一定就是 0.5，也可以是 0.65 等等，阈值越大，准确率越高，召回率越低；此函数实际上是一个概率计算，它把 (−∞,∞) 之间的任何数字都压缩到 (0,1) 之间，返回一个概率值。在二分类任务中，叫做Logistic函数，而在作为激活函数时，叫做Sigmoid函数。是任意阶可导的凸函数，有很好的数学性，许多数值优化算法都可以直接用于求取最优解。，就越接近标签值，那么误差越小，反向传播的力度就越小。
多分类混淆矩阵详解
最新发布
weixin_37522117的博客
06-07 1298
多分类混淆矩阵详解及代码示例
深度学习各种激活函数
Mr_wuliboy的博客
10-09 672
在神经网络中，激活函数决定来自给定输入集的节点的输出，其中非线性激活函数允许网络复制复杂的非线性行为。正如绝大多数神经网络借助某种形式的梯度下降进行优化，激活函数需要是可微分（或者至少是几乎完全可微分的）。此外，复杂的激活函数也许产生一些梯度消失或爆炸的问题。因此，神经网络倾向于部署若干个特定的激活函数（identity、sigmoid、ReLU 及其变体）。 下面是 26 个激活函数的图示及其一阶导数，图的右侧是一些与神经网络相关的属性。 1. Step 激活函数 Step 更倾向于理论而不是实
多标签分类的激活函数和损失函数
X_windy的博客
07-16 6218
刚入门DeepLearning不久，前一段时间一直在学习cifar10的分类，突然最近要做一个多标签的任务，突然有点不知所措，不知从何下手了。于是查阅了一些资料，了解一下多分类任务与多标签分类任务的异同。 -多分类任务：只有一个标签，但是标签有多种类别。 -多标签分类任务：一条数据可能有一个或者多个标签，比如一个病人的眼底检测报告，它可能被标记患...
深度学习基础（二）激活函数
u010554381的博客
03-11 1087
激活函数（也被称为激励函数）的意义就是加入非线性因素，使得神经网络具有非线性表达的能力。其必要条件是激活函数的输入和输出都是可微的，因为神经网络要求处处可微。(可微是指函数的各个方向可导，可微大于等于可导) 一、激活函数的定义与作用 1.定义。如下图所示，激活函数一般是在神经元的输入(inputs)经过加权求和之后，还继续被一个函数作用。该函数就是激活函数。 ...
深度学习入门：激活函数
07-04
1. **sigmoid函数**：sigmoid函数是最早被广泛使用的激活函数，它的输出值域在0到1之间，常用于二分类问题。然而，sigmoid在梯度消失问题上存在不足，当输入远离零时，梯度会变得非常小，导致训练过程中权重更新缓慢...
深度学习—00入门 神经网络 pytorch 损失函数 梯度下降
chengqingshihuishui的博客
12-24 768
深度学习基础介绍
深度学习：Keras入门(二)之卷积神经网络(CNN)
01-26
卷积神经网络（CNN）是深度学习领域中用于图像处理和计算机视觉任务的重要模型。Keras是一个高级神经网络API，可以方便地构建和...Keras提供的API使得构建和训练这些网络变得相对简单，适合初学者快速入门深度学习。
机器学习各种激活函数比较
02-18
机器学习各种激活函数比较
【总结】激活函数 & 损失函数
学习 & 分享 ~
03-04 1772
S 型函数，也称为 S 型生长曲线、Logistic 函数。Sigmoid 函数常被用作神经网络的阈值函数，将变量映射到 (0,1) 之间，可以用来做二分类。定义域：任意实数 值域：0 到 1 计算公式：1/(1+exp(−x))1 / (1 + exp(-x))1/(1+exp(−x)) （1）函数特性（2）Sigmoid 函数公式 代码实现： （3）Sigmoid 函数的导数 代码实现： （4）Sigmoid 优点（5）Sigmoid 缺点由图可知，sigmoid 函数的导数从 0 开始向两边走，
Softmax激活函数 以及 多分类问题的推导
Planes_Walker的博客
04-18 1974
Softmax激活函数函数： Softmax激活函数用于多分类过程中，它将多个神经元的输出，映射到（0,1）区间内，可以看成概率来理解，从而来进行多分类！ 某个神经元的输出的值i ，则经过SoftMax函数的输出为Si，公式为： 示意图如下： SoftMax的损失函数，以及下降方法： 要使用梯度下降，肯定需要一个损失函数，这里我们使用交叉熵作为我们的损失函数。也就是最小化训...
分类问题：激活函数
weixin_38906715的博客
05-17 430
分类问题：激活函数在做多分类任务的时候，最后一层用了sigmoid激活，结果发现有Loss的情况下，梯度为0，出现sigmoid导致的梯度消失问题，因此改用以下策略使用激活函数：二分类：Relu+输出层sigmoidsigmoid：输入一个实数，输出一个实数多分类：Relu+softmax激活函数softmax：输入一个向量，最后输出一个向量...
【深度学习】深度学习中的10类激活函数
Nieson2012的专栏
11-18 1632
深度学习中常用的的激活函数包括了：sigmoid、tanh、ReLU 、Leaky Relu、RReLU、softsign、softplus。 激活函数可以分为两大类： 饱和激活函数：sigmoid、 tanh 非饱和激活函数:ReLU 、Leaky Relu 、ELU【指数线性单元】、PReLU【参数化的ReLU 】、RReLU【随机ReLU】 相对于饱和激活函数，使用“非...
损失函数_激活函数的分类
HDYYZDN的博客
11-06 216
机器学习-深度学习的知识： 监督学习 分类问题，输出是离散的值。 回归问题，输出是连续的值。 分类问题 损失函数: 针对分类问题，使用的是交叉熵损失函数， 针对回归问题，使用的是MSE和 误差的绝对值 引入激活的函数的原因：（激活函数用于隐藏层） 输入X 经过xw+b以后还是线性的，输出都是输入的线性组合，无论引入多少层都是线性的，隐含层的存在没有意义，不能对数据进行很好的拟合。 如果引入激活函数，使神经网...
二分类问题，应该选择sigmoid还是softmax函数
小姑仔的博客
03-14 6238
二分类的激活函数通常选择sigmoid或者softmax函数，对于二分类的问题，sigmoid函数和softmax函数可以等价 首先记隐层的输出为h。 如果使用sigmoid的话，输出层有一个结点，值为θh\theta hθh。然后类别1，2的预测概率分别为： p1=sigmoid(θh)=11+e−θhp_{1} = sigmoid(\theta h) = \frac{1}{1+e^{-\theta h}}p1​=sigmoid(θh)=1+e−θh1​ p2=1−sigmoid(θh)=11+eθhp_
前馈神经网络处理二分类任务
m0_70026215的博客
10-29 283
1.这次主要做的工作是搭建了一个两层的前馈神经网络，较为容易，基本上遇到debug也都会改，不存在什么特别难的问题，基础记牢了也没那么难理解。2.因为同为二分类问题嘛，写完博客的时候就不想继续写下一个饰演了，就闲来无事，翻了翻之前的博客，找到Logistic回归模型的结果对比了以下，看没啥大的区别吧，得分都差不太多吧1个点左右，神经网络没我幻想的那么优秀，抱着帮他正名的态度搜了一下，可能是因为隐藏层太少的缘故，毕竟神经网络可是说越深越优秀的不是。3.有没有发现我的公式变得好看了，我发现在线编辑器。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值