Neural Network中的Activation function作用

最新推荐文章于 2024-07-13 11:10:11 发布
最新推荐文章于 2024-07-13 11:10:11 发布
阅读量1.1k 收藏
点赞数 1
分类专栏： Deep Learning
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/grief_of_the_nazgul/article/details/51123060
版权
本文探讨了神经网络中激活函数的重要性，包括tanh、sigmoid和ReLU等主要类型。tanh函数取值范围在-1到1之间，sigmoid函数呈现S型且值域在0到1，ReLU函数则将所有负值置零，仅保留正值。
摘要由CSDN通过智能技术生成

激活函数的作用

谈到激活函数，必须要提到回归的问题，我们做线性回归的目的是为了优化权重。由于每次输入新的数据都要进行调整权重，做回归的主要目的是将目标特征更明显，将区别较大的噪声排除掉。因此，我们引入了激活函数。由于在线性回归中要求输入是可微的，也就是说要求输入为线性的，但现实的输入往往是非线性的，加入激活函数不但具备去噪的作用，而且可以将非线性输入变为线性输入。


最低0.47元/天 解锁文章
Hi_Panda_CRL
关注
专栏目录
神经网络中的activation function到底扮演什么样的角色
tina的博客
05-24 3173
参考Quora 为python作者Sebastian Raschka的回答要回答这个问题，首先从线性回归（Linear Regression）说起，然后过度到逻辑回归（Logistic Regression），最后，过度到神经网络（Neural Network）线性回归（Linear Regression）所谓线性回归问题，就是针对某一个问题(例如：房价的预测问题)，利用训练样本求解一个线性模型，
Activation function in Neural Network
jiongjiong 的专栏
03-30 283
Logistic / Sigmoid function g(x)=11+e−x=ex1+exg(x)=11+e−x=ex1+exg(x) = \dfrac {1} {1 + e ^{-x}} = \dfrac {e ^{x}} {1 + e ^{x}} g(−x)=11+ex=e−x1+e−xg(−x)=11+ex=e−x1+e−xg(-x) = \dfrac {1} {1 + e ^{x}}...
10分钟快速了解神经网络（Neural Networks）
最新发布
python12222_的博客
07-13 2722
神经网络是深度学习算法的基本构建模块。神经网络是一种机器学习算法，旨在模拟人脑的行为。它由相互连接的节点组成，也称为人工神经元，这些节点组织成层次结构。
Activation Function For Neural Network
fishman_yinwang的博客
06-05 194
Reference:https://dashee87.github.io/deep%20learning/visualising-activation-functions-in-neural-networks/ 这个链接下有26种激活函数，先记录下，有空会自己熟悉并画出所有的激活函数图 ...
【AI初识境】激活函数：从人工设计到自动搜索
hacker_long的专栏
03-11 635
文章首发于微信公众号《有三AI》 【AI初识境】激活函数：从人工设计到自动搜索 这是专栏《AI初识境》的第4篇文章。所谓初识，就是对相关技术有基本了解，掌握了基本的使用方法。 在神经网络中，有一个看似不起眼但是非常重要的概念，那就是激活函数。激活函数模型固然理解起来简单，但是也经历了从人工设计到自动探索的长足发展历程。 作者&编辑|言有三 01无处不在的激活函数 ...
[cv231n] Lecture 6 | Training Neural Networks I (activations)
gdtop的个人笔记
03-01 936
Lecture 6 | Training Neural Networks I Quick intro It is possible to introduce neural networks without appealing to brain analogies. In the section on linear classification, we computed scores for d...
Activation Functions in Neural Networks
tangwing的专栏
01-31 371
This article is inspired by这里and 这里. - 激活函数的主要意义是为NN加入非线性的元素。在神经学上模仿的是一个神经元是否有效。 A Neural Network without Activation function would simply be aLinear regression Model.Neural-Networks are consid...
CS231n笔记2--Fully Connected Neural Network与Activation Function
u012767526的专栏
05-14 7557
Fully Connected Neural Network与Activation Function神经网络–Fully Connect Neural Network一个最简单的神经网络 hw,b=f(x1w1+x2w2+x3w3+b)=f(XW+b)h_{w,b}=f(x_1w_1+x_2w_2+x_3w_3+b)=f(XW+b) 向量化的python代码def f(z): retur
Neural Network Cells.pdf
09-13
2. 激活函数（Activation Function）：这是神经网络细胞的核心，它将输入信号与权重相乘后进行非线性转换，使得神经网络能够学习更复杂的模式。常见的激活函数有sigmoid、ReLU（Rectified Linear Unit）、Leaky ReLU...
Mish: A Self Regularized Non-Monotonic Neural Activation Function论文笔记
weixin_42384432的博客
05-06 2539
Mish: A Self Regularized Non-Monotonic Neural Activation Function论文笔记 作者：Diganta Misra 下载连接：https://arxiv.org/abs/1908.08681 这篇论文提出了一种全新的激活函数，并且在大多数任务下的指标都要优于ReLU和Swish。 Introduction 激活函数在神经网络中的意义主要...
neural_network_tf.zip_neural_network_tf
09-15
【标题】"neural_network_tf.zip_neural_network_tf" 提供了一个关于神经网络实现的代码示例，重点在于使用TensorFlow这一深度学习框架。TensorFlow是Google开发的一个强大的开源库，广泛用于机器学习和深度学习任务...
SEARCHING FOR ACTIVATION FUNCTIONS翻译
nopSled
04-29 1547
1.摘要 在深度神经网络中选择合适的激活函数对网络的动态训练和任务的性能具有显著的影响。目前，最成功也最为被广泛使用的激活函数是修正线性单元（Rectified Linear Unit，ReLU）。虽然已经提出了各种手工设计的ReLU替代方案，但由于收益不一致，没有人设法取代它。在这项工作中，我们提出了利用自动搜索技术来发现新的激活函数。使用穷举和强化学习搜索的组合，我们发现了多个新的激活函数。我...
neural network: cost function
playerz的博客
07-23 148
cross entropy（交叉熵） bp神经网络以交叉熵作为损失函数 公式解释 先换一下公式版本（适用于手写数字识别 0-9）： lil_ili​：one-hot编码的样本结果矩阵（10×n10×n10×n，nnn为样本数） 若现有3个样本：(x(1),y(1)),(x(2),y(2)),(x(3),y(3))(x^{(1)},y^{(1)}), (x^{(2)},y^{(2)}),(x^{(3)}, y^{(3)})(x(1),y(1)),(x(2),y(2)),(x(3),y(3)) 其中， y
[论文笔记]SEARCHING FOR ACTIVATION FUNCTIONS
日积月累，天道酬勤
04-28 1413
⭐ 作者利用自动搜索技术来发现新的激活函数。并且通过实验发现最佳的激活函数为f(x) = x * sigmoid(βx)，称为Swish。
Neural networks
caianye的专栏
12-24 525
Network architectures 一：single-layer feed-forward 二：multi-layer feed-forward 三：recurrent Learning Algorithms Depend on the network architecture: •Error correcting learning (perceptron) •Delta rule (AdaLine, Backprop) •Competitive Learning (Self
Neural Networks
JachinMa的博客
06-29 1208
神经网络可由torch.nn包构建。 在粗略地了解了自动求导后，现在可以理解通过自动求导来定义模型和对其求导的nn了。nn.Module包括图层，和返回output的forward(input)方法。 举个例子，下图是一个分类数字图像的神经网络： 它是一个简单的前馈网络。它获得一个输入，并将其一个接一个的穿过数个图层，并最终得到输出。 一个典型的神经网络处理流程如下： 定义一个有学习参数(或权...
class NeuralNetwork:
06-07
这是一个定义了神经网络的类，下面是一个简单的例子： ```python class NeuralNetwork: def __init__(self, input_nodes, hidden_nodes, output_nodes): # 初始化输入层、隐藏层和输出层的节点数 self.input_nodes = input_nodes self.hidden_nodes = hidden_nodes self.output_nodes = output_nodes # 初始化权重矩阵，使用随机值填充 self.weights_input_hidden = np.random.normal(0.0, self.hidden_nodes**-0.5, (self.hidden_nodes, self.input_nodes)) self.weights_hidden_output = np.random.normal(0.0, self.output_nodes**-0.5, (self.output_nodes, self.hidden_nodes)) # 定义激活函数 self.activation_function = lambda x: 1/(1+np.exp(-x)) def train(self, inputs_list, targets_list): # 将输入和目标值转换为二维数组 inputs = np.array(inputs_list, ndmin=2).T targets = np.array(targets_list, ndmin=2).T # 计算隐藏层的输入信号 hidden_inputs = np.dot(self.weights_input_hidden, inputs) # 计算隐藏层的输出信号 hidden_outputs = self.activation_function(hidden_inputs) # 计算输出层的输入信号 final_inputs = np.dot(self.weights_hidden_output, hidden_outputs) # 计算输出层的输出信号 final_outputs = self.activation_function(final_inputs) # 计算输出层误差 output_errors = targets - final_outputs # 计算隐藏层误差 hidden_errors = np.dot(self.weights_hidden_output.T, output_errors) * hidden_outputs * (1 - hidden_outputs) # 更新权重 self.weights_hidden_output += self.learning_rate * np.dot((output_errors * final_outputs * (1 - final_outputs)), hidden_outputs.T) self.weights_input_hidden += self.learning_rate * np.dot((hidden_errors * hidden_outputs * (1 - hidden_outputs)), inputs.T) def query(self, inputs_list): # 将输入转换为二维数组 inputs = np.array(inputs_list, ndmin=2).T # 计算隐藏层的输入信号 hidden_inputs = np.dot(self.weights_input_hidden, inputs) # 计算隐藏层的输出信号 hidden_outputs = self.activation_function(hidden_inputs) # 计算输出层的输入信号 final_inputs = np.dot(self.weights_hidden_output, hidden_outputs) # 计算输出层的输出信号 final_outputs = self.activation_function(final_inputs) return final_outputs ``` 这个类实现了一个简单的三层神经网络，包括一个输入层、一个隐藏层和一个输出层。它包括以下方法： - `__init__(self, input_nodes, hidden_nodes, output_nodes)`：初始化神经网络，包括输入层、隐藏层和输出层的节点数，以及权重矩阵和激活函数。 - `train(self, inputs_list, targets_list)`：训练神经网络，更新权重矩阵。 - `query(self, inputs_list)`：使用训练好的神经网络进行预测，输出一个结果。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值