深度学习中的激活函数

最新推荐文章于 2024-08-23 00:01:17 发布
最新推荐文章于 2024-08-23 00:01:17 发布
阅读量433 收藏
点赞数
分类专栏： 自然语言处理 文章标签： 深度学习 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_41309350/article/details/133814559
版权

给定一个线性变换可以把x的值映射到一条直线上，如下图
在这里插入图片描述
输出结果就是y1=w1x+b1
如果y1经过一个线性变换得到一个y2，那么x和y2的关系是什么？
在这里插入图片描述

答案，毫无疑问是一条直线，不管如何的线性变换，依旧是一个线性的问题，那如何变成非线性问题呢？

在线性单元后面增加一个非线性函数 f 就行
f(当做是从输入到输出的激活过程，因此被称为激活函数)
在这里插入图片描述

过客尘烟
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
深度学习（激活函数）
weixin_65089713的博客
04-02 3230
目录 1 神经元的一般模型 ​2 激活函数的特点 3 常见激活函数 3.1 sigmoid及其改进型 3.1.1sigmoid介绍 3.1.2 sigmoid的导数介绍 3.1.3 Mesh 3.1.4 swish 3.2 relu及其改进型 3.2.1relu 介绍 3.2.2 relu的导数介绍 3.2.3 Leaky relu 3.2.4 Prelu 3.2.5 ELU 4 软饱和硬饱和 5 激活函数的选择 1 神经元的一般模型 一个基本的架构就是多个...
深度学习中激活函数的用途
githubcurry
11-16 5001
激活函数，即Activation Function,有时候也称作激励函数。它是为了解决线性不可分的问题引出的。但是也不是说线性可分就不能用激活函数，也是可以的。它的目的是为了使数据更好的展现出我们想要的效果。激活函数决定了某个神经元是否被激活，当这个神经元接受到的信息是有用或者无用的时候，激活函数决定了对这个神经元接收到的信息是留下还是抛弃。
深度学习中激活函数的选择
浅梦的学习笔记
10-01 3083
本文介绍了深度学习引入非线性激活函数的原因，和几种常用的激活函数，sigmoid,tanh,relu,leaky relu,prelu,maxout.
深度学习中激活函数
竹馨shine的专栏
04-15 9274
本文主要参考博文： 1. http://blog.csdn.net/u014595019/article/details/52562159 2. https://zhuanlan.zhihu.com/p/22142013 激活函数的作用        神经网络中激活函数的主要作用是提供网络的非线性建模能力。假设一个神经网络中仅包含线性卷积和全连接运算，那么该网络仅能够表达线性映射，即便
python 深度学习中的4种激活函数
09-24
在Python深度学习领域，激活函数扮演着至关重要的角色，它们为神经网络引入了非线性，使得模型能够解决更复杂的问题。本文将详细介绍四种常见的激活函数：Sigmoid、Tanh、ReLU和SoftMax。 首先，激活函数的主要作用...
深度学习中激活函数权重初始值的选取.pdf
08-18
在深度学习的实现中，激活函数和权重的初始化是构建有效神经网络的两个关键组成部分。激活函数用于引入非线性因素，使得网络能够学习和执行复杂的函数映射。权重初始化是指给神经网络中的权重参数设置初始值的过程，...
深度学习常用激活函数代码.docx
06-08
深度学习中，激活函数是神经网络中非常重要的一个组件，它可以引入非线性关系使得模型具有更好的表达能力。常用的激活函数有sigmoid、tanh、ReLU等。 1. sigmoid 函数： sigmoid函数是一个常用的激活函数，它可以...
深度学习常用激活函数.docx
06-08
深度学习常用激活函数 深度学习中，激活函数是神经网络中非常重要的一部分，它们可以引入非线性因素，使神经网络能够学习和表示更加复杂的关系。常用的激活函数有sigmoid、tanh、ReLU、PReLU、ELU、softplus等。 1...
基于深度学习的分子生成
weixin_42605076的博客
08-22 817
基于深度学习的分子生成是一项结合化学、计算科学与人工智能的新兴领域，旨在利用深度学习模型来生成具有特定性质的分子结构。该技术在药物发现、材料科学和合成化学等领域具有广泛的应用前景。
神经网络的数学原理
突然好想你
08-14 447
人工智能技术的发展与成功应用已经成为21世纪科技领域最大的新现象。然而，科学地理解人工智能原理已经超出了现有科学体系的范畴。显然，人工智能是人类科学技术发展的必然结果，人工智能科学也将是人类科学进步与发展必然实现的目标🌈
【人工智能】Python融合机器学习、深度学习和微服务的创新之路
2302_80269373的博客
08-19 8358
本文探讨了AI技术的发展历程、创新应用和微服务架构的作用。技术进步：AI技术在算法和应用方面的显著进展。微服务架构：提高了AI系统的灵活性和可扩展性。挑战与展望：数据隐私、伦理和未来技术趋势的挑战和机遇。
深度学习--转换拼接问题 + TensorFlow包弃用问题
GDHBFTGGG的博客
08-18 1122
深度学习--转换拼接问题 + TensorFlow包弃用问题
【深度学习】嘿马深度学习笔记第3篇：TensorFlow介绍,学习目标【附代码文档】
一诺的博客
08-19 1054
本教程的知识点为：深度学习介绍 1.1 深度学习与机器学习的区别 TensorFlow介绍 2.4 张量 2.4.1 张量(Tensor) 2.4.1.1 张量的类型 TensorFlow介绍 1.2 神经网络基础 1.2.1 Logistic回归 1.2.1.1 Logistic回归 TensorFlow介绍 总结 每日作业 神经网络与tf.keras 1.3 神经网络基础 神经网络与tf.keras 1.3 Tensorflow实现神经网络 1.3.1 TensorFlow keras介绍 1.3
深度学习基础—Softmax回归
sniper_fandc的博客
08-22 293
通常对于二分类问题，大家熟知的模型就是logistic回归。那么对于多分类问题呢？如果要多分类，我们可以在网络的最后一层建立多个神经元，每个神经元对应一个分类的输出，输出的是某一个分类的概率，这些概率之和为1。要想做到上述分析，就需要由Softmax激活函数组成的Softmax回归模型来解决。
物理可微分神经算法：深度学习与物理世界的桥梁
码途探索
08-22 817
在这个信息爆炸的时代，人工智能（AI）已成为推动技术革新的关键力量。深度学习，作为AI领域的一个重要分支，已经在图像识别、自然语言处理、游戏等领域取得了令人瞩目的成就。然而，当我们试图将深度学习应用于模拟和预测复杂的物理现象时，我们面临着一系列新的挑战。物理世界是精确而有序的，其行为受到明确的物理定律的支配。传统神经网络虽然在许多任务上表现出色，但它们通常缺乏对物理规律的内在理解。这限制了它们在需要精确物理模拟的任务中的应用能力。
深度学习从入门到精通——大模型认知理解
swpucwf的博客
08-22 602
小模型（如视觉模型、语义模型、语音模型、决策/规划模型）和大模型（如GPT、BERT等大型预训练模型）的工作方式和特点存在一些关键区别。
深度学习 --- VGG16各层feature map可视化(JupyterNotebook实战)
松下J27录放机
08-22 581
1，更深的层数！相对于仅有8层的AlexNet而言，VGG把层数增加到了16和19层。2，更小的卷积核！不仅如此，相对于AlexNet中的大卷积核(如下图中的 11x11和5x5卷积核)，VGG中只使用了3x3的小卷积核。3，更深的网络，更多的非线性。通过用多个3x3的小filter去替换AlexNet中的大卷积核，不仅能够保持原有的感受野，还能让网络变得更深。而且，由于网络加深了，模型的非线性也增加了(一般情况下，卷积层指的都是2D卷积后接一个非线性激活函数ReLU)。
跟李沐学AI：转置卷积
最新发布
Landy_Jay的博客
08-23 146
卷积不会增大输入的高宽，通常卷积层后高宽不变或减半。转置卷积则可以用来增大输入的宽高。转置卷积是一种卷积，它将输入和核进行了重新排列，通常用作上采用。如果卷积将输入从变为，同样超参数的情况下，转置卷积将变为input中的每个元素分别乘以卷积核中的所有元素，最后所有中间结果相加以获得最终结果。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值