【计算机视觉】三种常见的激活函数解析

最新推荐文章于 2024-07-30 07:00:00 发布
最新推荐文章于 2024-07-30 07:00:00 发布
阅读量854 收藏 1
点赞数
分类专栏： 计算机视觉 深度学习 文章标签： 计算机视觉 深度学习 神经网络
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/liufang_imei/article/details/128650374
版权
本文介绍了深度学习中常见的三种激活函数：sigmoid、tanh和ReLU，探讨了它们的作用和特点。相较于sigmoid，tanh函数由于输出关于零点对称，更利于深度网络的训练。在RNN中，tanh比ReLU更能防止梯度爆炸。为了解决ReLU的神经元“死亡”问题，可以采用Leaky ReLU或变体。同时，文章提到了YOLOv4中使用的Mish激活函数，它结合了非单调性和平滑性，提高了性能。
摘要由CSDN通过智能技术生成

问题

在笔试问答题或面试中偶尔有涉及到激活函数的问题，这里简单总结一下深度学习中常见的三种激活函数sigmoid、tanh和ReLU，以及它们各自的特点和用途。

激活函数

激活函数的作用是什么？

激活函数的主要作用是在神经网络中引入非线性因素。

常见的三种激活函数

sigmoid tanh ReLU
公式 f ( x ) = 1 1 + e
了解本专栏 订阅专栏 解锁全文 超级会员免费看
BLFaker84516
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
订阅专栏
YOLOv5/v7 更换激活函数
YOLOv8项目贡献者
04-26 2万+
教你YOLOv5/v7更换激活函数
全球招聘 | 敬贤礼士！华南理工大学广州国际校区全球英才邀请函
idol24的博客
05-18 234
- END -来源 | 广州国际校区人力资源与发展事务办公室编辑 | 广州国际校区综合事务办公室猜您喜欢：戳我，查看GAN的系列专辑~！一顿午饭外卖，成为CV视觉前沿弄潮儿！CVPR 2022 | 25+方向、最新50篇GAN论文ICCV 2021 | 35个主题GAN论文汇总超110篇！CVPR 2021最全GAN论文梳理超100篇！CVPR 2020最全GAN论...
神经网络激活函数的作用是什么？
热门推荐
Microstrong
12-03 6万+
这周本来想写一篇个人笔记，关于神经网络中反向传播算法识别手写字符的实现。但是，在整理自己的思路的时候，发现本人把之前看的许多神经网络的东西都给忘了，内心很是着急啊！在看到激活函数的时候，突然不知道激活函数是干嘛用的！立马翻遍手里的纸质资料，都说的模糊不清。无奈，赶紧来网上看看！下面，我就把在网上看到的知识点，总结一下，形成读书笔记，方便大家学习！由于本人知识有限，文章有少部分参考网上，如有侵权，请
深度学习——常用激活函数解析与对比
知来者逆的博客
04-18 1305
在神经网络中，激活函数扮演着至关重要的角色。它们的主要目的是引入非线性因素，使得网络能够学习和表示更加复杂的函数映射。非线性激活函数是神经网络能够解决非线性问题的关键。如果没有非线性激活函数，无论神经网络有多少层，最终都相当于一个线性模型，这大大限制了网络的表达能力。非线性激活函数使得神经网络可以通过叠加多个非线性层来学习复杂的数据分布和模式。例如，ReLU（Rectified Linear Unit）激活函数通过将所有负值置为零，引入了非线性，同时保持了计算的简单性。
PyTorch深度学习与计算机视觉实践
最新发布
weixin_43178406的博客
07-30 1万+
本文主要介绍了PyTorch深度学习与计算机视觉实践，希望能对同学们有所帮助。 文章目录 1. 前言 2. 书籍推荐 2.1 内容简介 2.2 本书作者 2.3 本书目录 3. 购买链接
知识经验分享——超全激活函数解析（数学原理+优缺点）
加勒比海带66——【YOLO魔法搭配&论文投稿咨询】
11-10 945
知识经验分享——超全激活函数解析（数学原理+优缺点）。激活函数（Activation Function）是一种添加到人工神经网络中的函数，旨在帮助网络学习数据中的复杂模式。类似于人类大脑中基于神经元的模型，激活函数最终决定了要发射给下一个神经元的内容。
ReLu激活函数
lucky_kai的博客
06-30 1万+
**概述：**ReLU函数的计算是在卷积之后进行的，因此它与tanh函数和sigmoid函数一样，同属于非线性激活函数。ReLU函数的倒数在正数部分是恒等于1的，因此在深度网络中使用relu激活函数就不会导致梯度小时和爆炸的问题。并且，ReLU函数计算速度快，加快了网络的训练。不过，如果梯度过大，导致很多负数，由于负数部分值为0，这些神经元将无法激活（可通过设置较小学习率来解决）。 1.ReLu：...
深度学习：激活函数
皮皮blog
05-04 3万+
激活函数神经网络神经元中，输入的 inputs 通过加权，求和后，还被作用了一个函数，这个函数就是激活函数 Activation Function。 为什么要用激活函数神经网络中激活函数的主要作用是提供网络的非线性建模能力，如不特别说明，激活函数一般而言是非线性函数。假设一个示例神经网络中仅包含线性卷积和全连接运算，那么该网络仅能够表达线性映射，即便增加网络的深度也依旧还是线性映射，难以有效建模
【计算机视觉】Vision Transformer （ViT）详细解析
Danger的博客
04-01 9311
【计算机视觉】Vision Transformer （ViT）详细解析
计算机视觉基础考查试卷1
08-08
计算机视觉基础考查试卷1主要涉及了神经网络和计算机视觉领域的一些核心概念与技术。以下是针对试卷内容的详细解析： 1. **性能度量指标**：Precision（精确率）、Recall（召回率）、BEP（Break-Even Point）、F1...
电子科技大学计算机视觉（PPT及五个实验报告）
12-14
计算机视觉是一门多领域交叉学科，它涉及到图像处理、机器学习、深度学习等多个技术，旨在使计算机具有理解和解析现实世界图像的能力。电子科技大学的这门计算机视觉课程通过PPT讲解和五个实验报告，深入浅出地教授...
斯坦福CS231n李飞飞计算机视觉课程 全部讲义
04-01
计算机视觉是一门多领域交叉学科，旨在让计算机系统解析、理解和解释图像及视频数据。斯坦福大学的CS231n课程是该领域内的经典课程，由李飞飞教授主讲，每年都会更新内容以反映最新的研究成果和技术进展。2018年的...
斯坦福计算机视觉课程c231n ppt
12-31
《斯坦福计算机视觉课程c231n：深入解析PPT内容》 计算机视觉作为人工智能领域的一个重要分支，近年来在图像识别、自动驾驶、医疗影像分析等领域取得了显著的成就。斯坦福大学的CS231n课程是全球范围内极具影响力的...
李飞飞2017计算机视觉与神经网络notes
01-29
6. 卷积神经网络（CNN）：深入解析CNN的架构，如卷积层、池化层、激活函数、批归一化、残差连接等，以及AlexNet、VGG、ResNet等经典模型。 7. 生成对抗网络（GANs）：在计算机视觉中的应用，如图像生成、超分辨率、...
【Pytorch学习笔记】将原始数据集按照比例划分成训练集、验证集和测试集
liufang_imei的博客
11-25 2775
我们在做深度学习模型训练时，需要提前做数据预处理工作，比如有需要预先划分好训练集、验证集、测试集，为训练模型调优做一个基本的数据支撑。一般情况，训练集：验证集：测试集 = 8：1：1，按照这个比例划分。提示：以下是本篇文章正文内容，下面案例可供参考以上就是今天要讲的内容，本文仅仅简单介绍了将原始数据集按照比例划分成训练集、验证集和测试集的方法及源码，可直接使用，仅供学习参考！
Ultralytics公司YOLOv8来了(训练自己的数据集并基于NVIDIA TensorRT和华为昇腾端到端模型加速)--跟不上“卷“的节奏
liufang_imei的博客
01-12 2297
其实这里的梯度流主分支，可以是任何之前你学习过的模块，比如，美团提出的YOLOv6中就是用来重参模块RepVGGBlock来替换BottleNeck Block来作为主要的梯度流分支，而百度提出的PP-YOLOE则是使用了RepResNet-Block来替换BottleNeck Block来作为主要的梯度流分支。针对C3模块，其主要是借助CSPNet提取分流的思想，同时结合残差结构的思想，设计了所谓的C3 Block，这里的CSP主分支梯度模块为BottleNeck模块，也就是所谓的残差模块。
编译darknet报错：[obj/convolutional_layer.o] Error 1 或者[obj/convolutional_kernels.o] Error 1
liufang_imei的博客
03-26 2021
背景是：想使用多GPU训练模型 包这样的错，首先检查darknet下的Makefile是否修改正确----》三处位置 报错时的Makefile文件： 【第一处】---->多个博客是这样写的 GPU=1 CUDNN=1 OPENCV=1 OPENMP=0 DEBUG=0 【第二处】---->cuda-11.1是我自己的cuda版本，需修改成自己的安装版本 NVCC=/usr/local/cuda-11.1/bin/nvcc 【第三处】---->cuda-11.1是我自己的cuda版本，需修改
import caffe，报错Error: /usr/lib/x86_64-linux-gnu/libatk-1.0.so.0: undefined symbol: g_log_structur
liufang_imei的博客
09-10 1727
按照这个方法（https://blog.csdn.net/CAU_Ayao/article/details/83901287）修改没用，反而报新的错误 新错误为： Traceback (most recent call last): File “”, line 1, in File “/home/caffe-master/python/caffe/init.py”, line 1, in from .pycaffe import Net, SGDSolver, NesterovSolver, AdaGr
深度学习面试解析：计算机视觉算法工程师常见问题
该定理指出，具有适当激活函数的神经网络，只要神经元数量足够，至少有一个具有一个隐藏层的网络可以以任意精度逼近任何闭区间上的连续函数。这意味着神经网络具有强大的表达能力，能够模拟各种复杂的函数关系。 四...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

BLFaker84516

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值