神经网络中的activation function到底扮演什么样的角色

最新推荐文章于 2024-07-13 11:34:52 发布
最新推荐文章于 2024-07-13 11:34:52 发布
阅读量3.1k 收藏 2
点赞数
分类专栏： 机器学习_machine learning 文章标签： 神经网络
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/tina_ttl/article/details/51491304
版权
本文从线性回归和逻辑回归入手，解释了激活函数在分类中的重要性。激活函数使得模型能够实现非线性分类，对于解决非线性可分问题至关重要。通过一个多层感知器（MLP）的例子，展示了激活函数如何帮助创建非线性分类面。总结中强调，尽管逻辑回归有非线性激活，但其本质仍是线性模型，而神经网络的激活函数则能生成复杂的非线性决策边界。
摘要由CSDN通过智能技术生成

参考Quora
为python作者Sebastian Raschka的回答

要回答这个问题，首先从线性回归（Linear Regression）说起，然后过度到逻辑回归（Logistic Regression），最后，过度到神经网络（Neural Network）

1.线性回归（Linear Regression）

所谓线性回归问题，就是针对某一个问题(例如：房价的预测问题)，利用训练样本求解一个线性模型，然后利用这个线性模型去预测新的数据所对应的结果

例如：线性回归模型如下

net(x)=b+x1w1
最低0.47元/天 解锁文章
tina_ttl
关注
专栏目录
Neural Network中的Activation function作用
Hi_Panda
04-11 1113
激活函数的作用 谈到激活函数，必须要提到回归的问题，我们做线性回归的目的是为了优化权重。由于每次输入新的数据都要进行调整权重，做回归的主要目的是将目标特征更明显，将区别较大的噪声排除掉。因此，我们引入了激活函数。由于在线性回归中要求输入是可微的，但输入往往是非线性的，加入激活函数可以具备去燥的作用，而且可以将非线性输入变为线性输入。 主要类别：         tanh
神经网络（二）
Fishmemory的博客
12-08 1440
python代码具体讲解神经网络算法
Activation function in Neural Network
jiongjiong 的专栏
03-30 287
Logistic / Sigmoid function g(x)=11+e−x=ex1+exg(x)=11+e−x=ex1+exg(x) = \dfrac {1} {1 + e ^{-x}} = \dfrac {e ^{x}} {1 + e ^{x}} g(−x)=11+ex=e−x1+e−xg(−x)=11+ex=e−x1+e−xg(-x) = \dfrac {1} {1 + e ^{x}}...
【总结】深度学习的神经网络层（比如Linear层等）介绍
最新发布
帆的博客
07-13 650
深度学习中的神经网络由多种不同类型的层组成，每种层都有其独特的功能和用途。以下是一些常见的神经网络层的介绍和示例代码，并附带详细的注释。
机器学习09--神经网络的激活函数(Activation Function)及python代码实现
雨落那秋林
02-22 8053
在前面的一些关于机器案例中使用了激活函数，如 机器学习(1)--神经网络初探 开篇中的 tanh(x)与tanh_deriv(x)两个函数    TensorFlow实例(5.1)--MNIST手写数字进阶算法(卷积神经网络CNN) 中在最大池化时使用的 tf.nn.relu我们为什么要使用激活函数，通常他有如下一些性质：非线性： 如果是线性的时候，多层的神经网络是无意义的可微性： 做梯度下降，这...
机器学习笔记-神经网络中激活函数（activation function）对比--Sigmoid、ReLu，tanh
lilu916的博客
09-03 2万+
为什么激活函数是非线性的？ 如果不用激励函数（相当于激励函数是f(x)=x），在这种情况下，每一层的输出都是上一层的线性函数，无论神经网络有多少层，输出都是输入的线性组合，这与一个隐藏层的效果相当（这种情况就是多层感知机MPL）。 但当我们需要进行深度神经网络训练（多个隐藏层）的时候，如果激活函数仍然使用线性的，多层的隐藏函数与一层的隐藏函数作用的相当的，就失去了深度神经网络的意义，所以引入非
邱锡鹏神经网络怎么样,邱锡鹏神经网络答案
Supermen333的博客
08-28 112
优点：灵活正确使用时的高性能缺点：较高的学习难度低水平的API编译复杂的符号图可能很慢Lasagne描述：在Theano上建立和训练神经网络的轻量级库概述：因为Theano致力于成为符号数学中最先且最好的库，Lasagne提供了在Theano顶部的抽象，这使得它更适合于深度学习。由于部分非常优秀的文档和其相对易用性，Keras的社区非常大并且非常活跃。如果你有着丰富的学术机器学习知识，正在寻找你的模型的精细的控制方法，或者想要实现一个新奇的或者不同寻常的模型，Theano是你的首选库。...
人工神经元网络及其应用,人工神经元网络技术
kfc67269的博客
09-02 1249
人工神经网络（ArtificialNeuralNetwork，即ANN）是从信息处理角度对人脑神经元网络进行抽象，是20世纪80年代以来人工智能领域兴起的研究热点，其本质是一种运算模型，由大量的节点（或称神经元）之间相互联接构成，在模式识别、智能机器人、自动控制、生物、医学、经济等领域已成功地解决了许多现代计算机难以解决的实际问题，表现出了良好的智能特性。
【损失函数选择】：卷积神经网络中损失函数的优化策略
![【损失函数选择】：卷积神经网络中损失函数的优化策略]...在深度学习领域，卷积神经网络（CNN）是最成功的应用之一，特别是在图像识别和分类任务中。C
卷积神经网络(CNN)在图像识别中的原理与应用
# 第一章：卷积神经网络概述 卷积神经网络(CNN)作为一种深度学习...在本章中，我们将深入探讨卷积神经网络的工作原理，包括这些组件的作用与特点，以及它们在网络中的运作方式。 #### 2.1 卷积层的作用与特点 卷积
Keras 激活函数求教！
qq_15138049的博客
03-22 1089
回归参数预测：需预测多个参数、 relu激活函数 model = Sequential() model.add(Dense(7, input_shape=(7,),activation='relu', kernel_initializer='random_normal', bias_initializer='random_normal')) #model.add(Dropout(0.5)) model.add(Dense(units=7, activation='relu',kernel_regula
[Python人工智能] 五.theano实现神经网络正规化Regularization处理
杨秀璋的专栏
06-01 7456
从本系列文章开始，作者正式开始研究Python深度学习、神经网络及人工智能相关知识。前三篇文章讲解了神经网络基础概念、Theano库的安装过程及基础用法、theano实现回归神经网络、theano实现分类神经网络，这篇文章又回到基础知识，结合莫烦大神的视频学习，讲解机器学习基础知识、神经网络基础、CNN、RNN、LSTM RNN、GAN等知识，主要是学习"莫烦大神" 网易云视频的在线笔记，后面随着...
Python神经网络代码详细介绍
m0_47887988的博客
03-09 4733
import numpy import scipy.special #想要使用S函数，必须导入这个包 #完整的神经网络代码 class neuralNetwork: def __init__(self,inputnodes,hiddennodes,outputnodes,learningrate): #初始化神经网络 self.inodes=inputnodes #输入层节点数 self.hnoeds=hiddennodes .
激活函数（Activation Function）
weixin_39910711的博客
03-17 5万+
深度学习领域最常用的10个激活函数，一文详解数学原理及优缺点：https://mp.weixin.qq.com/s/bleTRzA_1X3umR5UXSpuHg 深度学习中几种常见的激活函数理解与总结：https://www.cnblogs.com/XDU-Lakers/p/10557496.html 神经网络梯度消失和梯度爆炸及解决办法：https://blog.csdn.net/program_developer/article/details/80032376 常用激活函...
神经网络之激活函数(activation function)
bitcarmanlee的博客
12-18 8085
1.为什么要引入非线性激活函数(activation function)如果不使用非线性激活函数，此时激活函数本质上相当于f(x)=ax+b。这种情况先，神经网络的每一层输出都是上层输入的线性函数。不难看出，不论神经网络有多少层，输出与输入都是线性关系，与没有隐层的效果是一样的，这个就是相当于是最原始的感知机(Perceptron)。至于感知机，大家知道其连最基本的异或问题都无法解决，更别提更复杂的
【机器学习】神经网络-激活函数-面面观(Activation Function)
热门推荐
AutoVision (by 仙道菜)
01-27 7万+
日常 coding 中，我们会很自然的使用一些激活函数，比如：sigmoid、ReLU等等。不过好像忘了问自己： 1. 为什么需要激活函数？ 2. 激活函数都有哪些？都长什么样？有哪些优缺点？ 3. 怎么选用激活函数？ 本文正是基于这些问题展开的，欢迎批评指正！
[Python人工智能] 二.theano实现回归神经网络分析
杨秀璋的专栏
05-21 9827
从本篇文章开始，作者正式开始研究Python深度学习、神经网络及人工智能相关知识。第一篇文章主要讲解神经网络基础概念，同时讲解Theano库的安装过程及基础用法，主要结合 "莫烦大神" 的视频介绍，后面随着深入会讲解具体的项目及应用。基础性文章，希望对您有所帮助，也建议大家一步步跟着学习，同时文章中存在错误或不足之处，还请海涵~同时推荐前面作者另外三个Python系列文章。从2014年开始，作者主...
[深度学习] 神经网络中的激活函数（Activation function）
小黑_BUPT的博客
09-30 9579
激活函数（Activation Function），就是在人工神经网络的神经元上运行的函数，负责将神经元的输入映射到输出端。 使用激活函数的原因 https://www.zhihu.com/question/22334626 单层感知机 如果不用激励函数，每一层输出都是上层输入的线性函数，无论神经网络有多少层，输出都是输入的线性组合，这种情况就是最原始的感知机（Perceptron）。 如果使...
Dense, Activation 是什么神经网络
05-31
Dense 和 Activation 都是神经网络中的层（Layers），通常用于构建深度神经网络（Deep Neural Network，DNN）。 Dense 层是最基本的神经网络层之一，也称为全连接层（Fully Connected Layer），每个神经元都与前一...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值