tensorflow学习笔记——常用的激活函数

最新推荐文章于 2024-08-20 18:56:26 发布
最新推荐文章于 2024-08-20 18:56:26 发布
阅读量1.9k 收藏 1
点赞数 9
分类专栏： tensorflow
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_40692109/article/details/104343894
版权
本文详细介绍了TensorFlow中常用的激活函数，包括Sigmoid的0-1映射及梯度消失问题，Tanh的双曲正弦特性，ReLU在缓解梯度消失和加速收敛的优势，Softmax用于多分类的输出概率计算，以及Softplus作为ReLU平滑版本的特性。
摘要由CSDN通过智能技术生成

1.sigmoid

公式：

S(x)=\frac{1}{1+e^{-x}}

图像：

从图中可以看到，sigmoid激活函数会将所有输入都转到0-1范围内。如此之外，它的倒数有一个常用到的性质：

S(x)^{'}=\frac{e^{-x}}{(1+e^{-x})^{2}}=S(x)(1-S(x))

即它的倒数可由自身表示。

  • 优点：它输出映射在0-1内，单调连续，可以用来作分类，并且求导比较容易；
  • 缺点：具有软饱和性，一旦输入过大或过小，一阶导数就变得接近于0，很容易产生梯度消失的现象。

tesorflow使用：tf.sigmoid(x)

2.tanh

公式：

最低0.47元/天 解锁文章
红鱼鱼
关注
专栏目录
tensorflow学习笔记——卷积神经网络的简单应用
qq_40692109的博客
02-02 1993
本文用卷积神经网络实现MNIST数据集分类。可在这个网站下载MNIST数据集。下载后的数据如下图所示： 本文使用的网络包括2个卷积层和两个全连接层。卷积核大小为5×5，第一个卷积层有32个卷积核，第二个卷积层有64个卷积核，使用relu激活函数。第一个全连接层有1024个节点，第二个全连接层有10个节点。 代码如下： import tensorflow as tf from tenso...
常用激活函数（tensorflow）
1003
10-11 330
常用激活函数（tensorflow）tf.nn.softplustf.nn.tanh tf.nn.softplus f(x)=ln(1+ex) tf.nn.tanh f(z)=(ez-e-z)/(ez+e-z)
tensorflow中常用的激活函数
修炼之路
08-19 2万+
激活函数(activation function)运行时激活神经网络中某一部分神经元，将激活神经元的信息输入到下一层神经网络中。神经网络之所以能处理非线性问题，这归功于激活函数的非线性表达能力。激活函数需要满足数据的输入和输出都是可微的，因为在进行反向传播的时候，需要对激活函数求导。 在TensorFlow中也内置了许多的激活函数，安装好TensorFlow之后可以在tensorflow--&g...
TensorFlow 深度学习入门指南（三）
最新发布
龙哥盟
08-20 635
原文：Beginning Deep Learning with TensorFlow 协议：CC BY-NC-SA 4.0 七、反向传播算法 回顾的时间越长，就能向前看的越远。 —丘吉尔 在第六章中，我们已经系统地介绍了基本的神经网络算法:从输入输出的表示出发；介绍感知器模型、多输入多输出全连接层；然后扩展到多层神经网络。我们还介绍了不同场景下输出层的设计和常用的损失函数及其实现。 本章我们将从理论层面学习神经网络中的核心算法之一:误差反向传播(BP)。实际上，反向传播算法早在 60 年代初就已经提
TensorFlow2.0常用激活函数
Steven的博客
01-24 3131
激活函数是神经网络中一个十分重要的组成部分，它可以对神经元的接收信息进行非线性变换，将变换后的信息输出到下一层神经元 激活函数给神经元引入了非线性因素，使得神经网络可以任意逼近任何非线性函数，这样神经网络就可以应用到众多的非线性模型中 构造数据 import tensorflow as tf import matplotlib.pyplot as plt x = tf.linspace(-5....
Tensorflow2.0教程-常见激活函数
william_hehe的博客
11-17 858
一、前言： 针对四种常用的激活函数进行可视化。 二、代码： import tensorflow as tf import numpy as np import matplotlib.pyplot as plt # fake data x = np.linspace(-5, 5, 100) # following are popular activation functions y_re...
tensorflow：激活函数(Activation Function)
haoji007的博客
08-02 2585
激活函数（Activation Function）运行时激活神经网络中某一部分神经元，将激活信息向后传入下一层的神经网络。 神经网络的数学基础是处处可微的，所以选取激活函数要保证数据输入与输出也是可微的。TensorFlow中提供哪些激活函数的API。 激活函数不会改变数据的维度，也就是输入和输出的维度是相同的。TensorFlow中有如下激活函数： 1. sigmoid 函数 这是传统神...
TensorFlow 2 学习笔记——从底层函数解析到Keras应用（小白入门）
12-21
合适的激活函数（如ReLU、Sigmoid、Tanh）能帮助模型更好地学习非线性关系。损失函数衡量模型预测与真实值的差距，优化器则负责更新网络参数以最小化损失。 欠拟合和过拟合是训练神经网络时常见的问题。欠拟合意味...
深度学习（基于Tensorflow2.0）学习笔记——Day2
01-20
本篇学习笔记主要关注如何在Tensorflow2.0环境下开始深度学习的学习和实践。 【深度学习基础知识回顾】 在开始实战前，对深度学习的基础知识进行回顾是必要的。这包括神经网络的基本概念、反向传播算法、损失函数...
tensorflow1.1/激活函数可视化
szj_huhu的博客
06-29 467
环境：tensorflow1.1，python3，matplotlib2.02#coding:utf-8 """ tensorflow 1.1 python 3 matplotlib 2.02 """ import tensorflow as tf import numpy as np import matplotlib.pyplot as pltx = np.linspace(-5,5,400)#
在Tensorflow中实现leakyRelu操作详解(高效)
09-16
主要介绍了在Tensorflow中实现leakyRelu操作详解(高效)，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
Tensorflow深度学习之五：激活函数
DaVinciL的博客
07-18 6799
激活函数的作用在神经网络中，激活函数的作用是能够给神经网络加入一些非线性因素，使得神经网络可以更好地解决较为复杂的问题。 我们尝试引入非线性的因素，对样本进行分类。在神经网络中也类似，我们需要引入一些非线性的因素，来更好地解决复杂的问题。而激活函数恰好就是那个能够帮助我们引入非线性因素的存在，使得我们的神经网络能够更好地解决较为复杂的问题。常见的激活函数有Sigmoid，Relu，tanh等。
TensorFlow编写relu函数
qq_35358021的博客
11-30 1143
relu函数：tf.nn.relu() 隐藏层用relu作为激活函数 hidden_layer = tf.add(tf.matmul(features,hidden_weights),hidden_biases) hidden_layer = tf.nn.relu(hidden_layer) output = tf.add(tf.matmul(hidden_layer,output_weight...
tensorflow之relu
12-23 436
tf.nn.relu()函数是将大于0的数保持不变，小于0的数置为0 a = tf.constant([-1.0, 2.0]) with tf.Session() as sess: b = tf.nn.relu(a) print (sess.run(b)) 输出  再举个例子吧： import tensorflow as tf a = tf.constant(...
Tensorflow笔记—5—神经网络优化—MSE损失函数，子定义损失函数和交叉熵损失函数
qq_43201403的博客
10-09 5990
一. 定义 1.1激活函数 激活函数：引入非线性激活因素，提高模型的表达能力 常用的激活函数有relu、sigmoid、tanh等 (1)激活函数relu：在Tensorflow中，用tf.nn.relu()表示 (2)激活函数sigmoid：在Tensorflow中，用tf.nn.sigmoid()表示 (3)激活函数tanh：在Tensorflow中，...
Tensorflow 激活函数 activation function
ip5108的博客
03-11 3537
激活函数 activation function 线性模型的局限性：只通过线性变换，任意层的全连接神经网络和单层神经网络的表达能力并没有任何区别，线性模型能解决的问题是有限的。 激活函数的目的是去线性化，如果将每一个神经元的输出通过一个非线性函数，那么整个神经网络的模型也就不再是线性的了，这个非线性函数就是激活函数。 评价某个激活函数是否有用时,需要考虑的因素有: 1)该函数应是单调的, 这样输出...
常用的激活函数Sigmoid,ReLU,Swish,Mish,GELU
liguiyuan的博客
07-01 1万+
Sigmoid激活函数在我们的网络模型中比较常用，也常作为二分类任务的输出层，函数的输出范围为（0,1）
tensorflow学习笔记（二十七）：leaky relu
热门推荐
Keith
12-26 2万+
tensorflow leaky relu在tensorflow 0.12.0及之前，都没有内置的leaky relu函数，那么我们如何实现leaky relu函数呢？方法1def relu(x, alpha=0., max_value=None): '''ReLU. alpha: slope of negative section. ''' negative_part
评论 4
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值