训练神经网络-激活函数&BN

最新推荐文章于 2023-08-28 21:53:45 发布
最新推荐文章于 2023-08-28 21:53:45 发布
阅读量597 收藏 3
点赞数 3
文章标签： 神经网络 深度学习 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_41704021/article/details/125021619
版权

推荐cs231n【公开课】最新斯坦福李飞飞cs231n计算机视觉课程【附中文字幕】_哔哩哔哩_bilibili

为什么需要非线性：非线性拟合能力强（表达能力强）。

对于非线性层，我们需要在构建多层网络的同时选择一种激活函数，如下图：

常见的激活函数：

一、sigmoid

最经典的激活函数

      

输出范围（0，1）

它把输入值做非线性映射为0到1的值，保证了严格单调递增。

缺点也很明显，1.如果输入的值绝对值过大，该函数的输出值将逼近0或1，反向传递时将导致梯度消失，2.幂运算求解耗时严重，3.深层网络收敛缓慢（均值不为0）

二、tanh

最低0.47元/天 解锁文章
我们教练不会签到
关注
  • 3
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
【Tensorflow】-【学习笔记5】-激励函数 (Activation Function)
weixin_40852935的博客
11-30 454
激励函数 Activation Function激励函数常用选择Tensorflow常用激活函数tf.sigmoid()tf.tanh()tf.nn.relu()tf.nn.softplus()tf.nn.softmax()tf.nn.dropout()tf.nn.elu()一般规则 激励函数 这里的 AF 就是指的激励函数. 激励函数拿出自己最擅长的”掰弯利器”, 套在了原函数上 用力一扭, 原来的 Wx 结果就被扭弯了. 其实这个 AF, 掰弯利器, 也不是什么触不可及的东西. 它其实就是另外一个非线
【PyTorch】教程：torch.nn.Softplus
03-19 2842
原型参数定义Softplus(x)=1β∗log⁡(1+exp⁡(β∗x)) \text{Softplus}(x)=\frac{1}{\beta}*\log(1+\exp(\beta* x)) Softplus(x)=β1​∗log(1+exp(β∗x))图代码 【参考】 Softplus — PyTorch 1.13 documentation
PyTorch基础教程（七）torch.nn 模块（3）
旗狼
08-28 1229
深度学习工具之PyTorch，通过学习PyTorch可以提高神经网络模型搭建效率，更好的构建出您想要的模型。通过学习本章内容，您可以学习到有关 PyTorch 中模块的简介
tensorflow随笔-tf.nn.softplus
The research on computer technolog
04-01 9982
tf.nn.softplus(features, name = None) 解释：这个函数的作用是计算激活函数softplus，即log( exp( features ) + 1)。 使用例子： #!/usr/bin/env python # -*- coding: utf-8 -*- import tensorflow as tf a = tf.constant([-1.0, 12.0]) ...
tensorflow菜鸡笔记（二）——几种激活函数
qq_40508193的博客
02-05 386
tensorflow菜鸡笔记（二）——几种激活函数 常用的激活函数： tf.nn.softplus(x)，tf.nn.sigmoid(x)，tf.nn.relu(x)，tf.nn.tanh(x) import tensorflow as tf import numpy as np import matplotlib.pyplot as plt # fake data x = np.linsp...
基于RKNN的深度神经网络模型设计建议1
08-03
- 将ReLU6激活函数替换为ReLU。 - 移除Depthwise卷积层后的BN层和激活层。 - 在训练时，对Depthwise卷积层的权重应用L2正则化。 4. **网络稀疏化**： - 许多神经网络模型存在过度参数化问题，导致不必要的计算...
DnCNN（去噪卷积神经网络）对图像去噪
最新发布
03-28
DnCNN的主要结构特点包括卷积层、批量归一化（BN）和ReLU激活函数。模型在卷积和激活函数间添加了批量归一化，有助于防止过拟合并提升模型的泛化能力。此外，DnCNN采用了残差学习的原理，其输入是噪声观察y = x + v...
一种算法对于深层神经网络训练速度的提升.pdf
09-25
FBN）的算法，该算法旨在解决深度神经网络（Deep Neural Networks，DNNs），特别是卷积神经网络（Convolutional Neural Networks，CNNs）在训练过程中的效率问题。在深度学习领域，尤其是声纹识别的应用中，CNNs已经...
基于卷积神经网络的服装识别分类模型研究
02-16
首先，调整了残差块中卷积层的结构，通过重新排列批量归一化层（BN层）和激活函数层，改善了数据流的效率。其次，引入了注意力机制，具体来说是SE块（Squeeze-and-Excitation block），这一机制可以动态地调整不同...
基于卷积神经网络的机场识别.pdf
09-26
AlexNet包含五个卷积层和三个全连接层，每个卷积层由卷积、ReLU激活函数和最大池化层组成。通过GPU的并行计算加速，AlexNet能够处理更深层次的网络，显著提高了识别效率和准确性。 LeNet-5是早期的CNN模型，用于...
pytorch学习日记之激活函数
weixin_43275631的博客
02-25 543
常用激活函数公式调用torch代码实现
CV笔记——（第七讲）激活函数与BN详解
weixin_37799689的博客
12-20 2156
一、知识梳理 二、激活函数 1）关于simgoid函数中心非零的问题：中心非零：导致的结果是参数更新的梯度方向恒正或者恒负。 （1）首先，先说明网络计算的公式： （2）求解梯度： （3）分析梯度各部分——第一部分J/L，由下式可知此项可正可负（主要看差值） （4）分析梯度各部分——第二部分L/f（有下图可知此部分恒正） （5）分析梯度各部分——第二部分x ...
【卷积层、BN层(Batch Normalization)、激活函数理解】
m0_56066265的博客
01-12 5756
主要是由于目前主流的梯度更新方式是mini-batch gradient decent，小批的梯度下降，这种方法把数据分为若干个批，按批来更新参数，这样，一个批中的一组数据共同决定了本次梯度的方向，下降起来就不容易跑偏，减少了随机性。另一方面因为批的样本数与整个数据集相比小了很多，计算量也不是很大。激活函数 (Activation functions) 对于人工神经网络模型去学习、理解非常复杂和非线性的函数来说具有十分重要的作用。
BN层的作用
qq_43703185的博客
08-29 1767
原文链接：https://zhuanlan.zhihu.com/p/75603087 BN层的作用主要有三个：加快网络的训练和收敛的速度控制梯度爆炸防止梯度消失防止过拟合分析：（1）加快收敛速度：在深度神经网络中中，如果每层的数据分布都不一样的话，将会导致网络非常难收敛和训练，而如果把 每层的数据都在转换在均值为零，方差为1 的状态下，这样每层数据的分布都是一样的训练会比较容易收敛。（2）防止梯度爆炸和梯度消失：以sigmoid函数为例，sigmoid函数使得输出在[0,1]之间，实际上当x道了一定的大小，
BN (Batch Normalization) 详解
晓野豬
10-12 1782
文章目录1 简介2 采用 BN 的神经网络3 BN 的前向传播3.1 标准化2.2 缩放平移2.3 实现效果3 BN 的前向传播总结 1 简介   Batch Normalization 技巧于 2015 年被谷歌提出以来，能够有效提升网络训练效率。众所周知，在神经网络训练前对输入像素进行标准化处理，能够有效降低模型的训练难度。受此启发，既然能够对输入层进行标准化处理，那么隐藏层为什么不可以标准化？ 因此，对每层加权和进行标准化，然后再通过缩放平移来“适度还原”。这样，既保证了不过分破坏输入信息，又降低了由
【深度学习基础知识 - 07】BN的原理和作用
yanyuxiangtoday的博客
08-18 9248
Batch Normalization也是深度学习中的一个高频词汇，这篇文章将会对其做一个简单介绍。 目录1. BN的原理2. BN的作用3. BN层的可学习参数4. infer时BN的处理5. BN的具体计算步骤以及公式6. BN和L2参数权重正则化的区别 1. BN的原理 BN就是在激活函数接收输入之前对数据分布进行规范化，具体计算就是去均值归一化，将数据的分布都规范到标准正态分布中，使得激活函数的输入值落在函数较为敏感的区域，也即梯度较大的区域，从而避免梯度消失、减少训练时间。因此，BN也通常需要放
【TensorFlow 入门】5、激活函数
呆呆的猫的博客
02-03 6940
TensorFlow提供了多种激活函数 1. sigmoid函数 tf.sigmoid(x, name = None) == tf.nn.sigmoid(x, name = None) # y = 1 / (1 + exp(-x)) Computes sigmoid of x element-wise. Specifically, y = 1 / (1 + exp(-
通俗理解BN(Batch Normalization)
nine_mink的博客
04-01 3314
1. 深度学习流程简介 1）一次性设置（One time setup） - 激活函数（Activation functions） ​ - 数据预处理（Data Preprocessing） ​ - 权重初始化（Weight Initialization） ​ - 正则化（Regularization：避免过拟合的一种技术） ​ - 梯度检查（Gradient che...
BN+ReLU激活函数
07-11
BN+ReLU是一种常用的神经网络层的组合，常用于深度学习模型中。 BN（Batch Normalization）是一种对网络的中间层进行归一化的技术。它通过在每个批次的数据上进行规范化，使得特征的分布更加稳定，有助于加速训练过程和增强模型的鲁棒性。BN层通常放置在卷积或全连接层之后，其计算公式如下： ``` x_hat = (x - mean) / sqrt(var + eps) y = gamma * x_hat + beta ``` 其中，x是输入特征，mean和var分别表示批次上特征的均值和方差，eps是一个微小的常数用于数值稳定性，gamma和beta是可学习的缩放因子和平移参数。 ReLU（Rectified Linear Unit）是一种激活函数，它将所有负值都设为零，并保留正值不变。ReLU函数的公式为： ``` f(x) = max(0, x) ``` ReLU函数的优点在于可以有效地解决梯度消失问题，并且计算速度较快。它广泛应用于深度神经网络中，特别是卷积神经网络（CNN）。 BN+ReLU的组合常用于网络的隐藏层或卷积层之后。BN层用于归一化特征分布，有助于加速收敛和提高模型的鲁棒性。ReLU函数则用于引入非线性，增强网络的表达能力。通过这种组合，可以有效地改善模型的性能和稳定性，并促进模型的收敛。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值