TensorFlow 激活函数、损失函数、梯度下降

最新推荐文章于 2024-01-03 13:14:26 发布
最新推荐文章于 2024-01-03 13:14:26 发布
阅读量924 收藏 7
点赞数 1
分类专栏： TensorFlow 文章标签： TensorFlow 激活函数 损失函数 梯度下降
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Triple_WDF/article/details/103262850
版权
本文详细介绍了神经网络中的关键元素：激活函数，包括Sigmoid、Tanh、ReLU及其变种，SoftPlus和Swish；损失函数，如均值平方差和交叉熵；以及梯度下降中的优化器和学习率调整策略。通过对这些概念的深入理解，有助于提升模型的训练效果和精度。
摘要由CSDN通过智能技术生成

本章节主要讲有关神经网络的三个重要部分：激活函数、损失函数、梯度下降。其余学习内容参考：TensorFlow 学习目录。

目录

一、激活函数

1. Sigmoid函数

2. Tanh函数

3. ReLU函数

4. SoftPlus函数

5. ReLU变种函数：Noisy relus、Leaky relus、Elus

6. Swish函数

7. softmax函数

8. 激活函数的总结

二、损失函数

1. 均值平方差（Mean Squared Error，MSE）

2. 交叉熵（Cross Entropy）

3. TensorFlow调用方式

三、梯度下降

1. 优化器

2. 退化学习率

一、激活函数

引入激活函数的目的是用来加入非线性因素，以解决线性模型表达不足的问题，在整个神经网络中起到了重要的作用。因为神经网络的数学基础是处处可微的，所以选取的激活函数，要保证输入和输出也是可微的。

1. Sigmoid函数

<1>函数表达式

sigmoid(x)=\frac{1}{1+e^{-x}}

<2>函数曲线

了解本专栏 订阅专栏 解锁全文 超级会员免费看
pfeiKing
关注
专栏目录
订阅专栏
Tensorflow自定义激活函数/函数/梯度
qq_38874933的博客
10-23 1688
Tensorflow自定义激活函数/函数/梯度 (对于Tensorflow 1.x) 最近刚做完一个paper，需要自定义激活函数，记录一下心得，顺便帮助下有需要的小伙伴。大刀阔斧，直接上解决方案： 1、对于分段（激活）函数，代码分开写 2、使用自带自定义梯度 详解 Tensorflow是自动求导（不懂就百度），因此我们不需要定义梯度，但大家可能会遇到和我一样的问题（在训练模型的时候loss爆炸）...
tensorflow2.0，自定义求导及梯度下降的实现
01-06
首先先回顾一下高中的通过定义求导 # 1.单变量求导 def f(x): return 3. * x ** 2 + 2. * x - 1 def approximate_derivative(f, x, eps=1e-3): return (f(x + eps) - f(x - eps)) / (2. * eps) print(approximate_derivative(f, 1.)) # 7.999999 # 2.求偏导 def g(x1, x2): return (x1 + 5) * (x2 ** 2) def approximate_gradient(g, x
【深度学习】第五章：再次回看网络架构-激活函数-损失函数-梯度下降
最新发布
因为热爱所以坚持
01-03 740
再看反向传播，当relu把这个神经元的输出变成0后，那反向传播时它的梯度就是0了，那就意味着这个神经元的参数得不到更新了，参数不更新，意味着下次正向传播时还是上一轮的参数，所以大概率还是被relu变成0，就表示这个神经元不再相应后面的数据了，参数也就一直更新不了，很难再活过来。所以线性层后必有激活层，即使架构图没有标出，你也要知道一定是要有激活层的。输出层的激活函数也是根据任务设置的，而且还可以灵活设置，就是如果你的输出层没有激活函数也是可以的，也是可以放到损失函数的计算过程中，这个看你怎么方便怎么来。
激活函数/损失函数/优化函数 梯度下降法
weixin_44558479的博客
08-30 153
在训练过程中，优化函数根据当前的权重和偏置，以及损失函数的梯度信息，来更新模型的参数，使得损失函数逐渐减小，模型逐渐收敛到更好的状态。在梯度下降算法中，每次都会遍历整个训练集，然后会对每个参数求偏导，取最大的点，根据负梯度方向是使函数值下降最快的方向，这个是可以通过泰勒展开求得的，在迭代的每一步根据负梯度的方向更新参数w的值，从而求得最小的损失函数J(w)。一般我们认为牛顿法是下降最快的方向。精简版：梯度下降法的目标是最小化损失函数，它通过计算损失函数关于参数的梯度（方向导数）来确定参数更新的方向。
深度学习 - 激活函数、梯度问题 and 损失函数
GoWeiXH的小天地
04-01 1140
激活函数 函数、导数 and 优劣 Sigmoid Tanh (双曲正切) ReLU (Rectified Linear Unit，修正线性单元) LReLU (Leaky ReLU) ELU（指数线性单元） Maxout 梯度消失与梯度饱和 梯度消失 梯度饱和 反向传播 平方差损失 and 交叉熵损失 平方差损失 交叉熵损失
深度学习_07_2_随机梯度下降_激活函数及梯度&损失函数及梯度
小明2766的博客
03-31 856
07_2_随机梯度下降_激活函数及梯度&损失函数及梯度 激活函数及其梯度 Activation Functions(激活函数) 研究青蛙的神经元有多个输入，比如x0,x1,x2x_0,x_1,x_2x0​,x1​,x2​，它的中间结果是x0x_0x0​到x2x_2x2​的加权响应，而响应值并不是线性的输出，当响应值的和小于某个值，青蛙不会响应；当大于阈值，会输出固定的响应值。->由此推出阈值函数，它是阶梯函数，小于阈值不反应，大于阈值输出固定的响应。 Derivative(导数) 借用上面的
TensorFlow 的梯度下降
我的LOG
11-18 585
TensorFlow 的梯度下降根据训练样本的大小三种梯度下降的变体TensorFlow优化器变量 函数在一阶导数为零的地方达到其最大值和最小值。梯度下降算法基于相同的原理，即调整系数（权重和偏置）使损失函数的梯度下降。 回归中，使用梯度下降来优化损失函数并获得系数。用 TensorFlow 的梯度下降优化器及其变体。 根据训练样本的大小三种梯度下降的变体 Vanilla 梯度下降：在 Vanilla 梯度下降（也称作批梯度下降）中，在每个循环中计算整个训练集的损失函数的梯度。该方法可能很慢并且难以处理非
tensorflow 梯度下降原理
zr7116的博客
07-11 624
minimize ==> def compute_gradients(self, loss, var_list=None, gate_gradients=GATE_OP, aggregation_method=None, colocate_g...
tensorflow自定义激活函数实例
12-20
这个实例展示了如何在 TensorFlow 中自定义激活函数及其梯度，这对于理解深度学习模型的训练过程以及如何扩展框架的灵活性非常重要。不过，需要注意的是，不同的激活函数可能对模型的性能有很大影响，因此在选择或...
tensorflow中同时两个损失函数_Tensorflow中的损失函数
weixin_39617006的博客
12-19 1101
3. Tensorflow中的损失函数3.1 简介损失函数(loss function、cost function)是神经网络搭建之后需要首先考虑的。因为在训练网络，即反向传播过程中，需要有一个监督信号去更新参数。最常用的损失函数有交叉熵(cross_entropy)和均方误差(MSE，mean squared error)。3.2 loss函数均方误差(MSE，mean squared erro...
Tensorflow2.0 梯度下降与激活函数
廷益_飞鸟的博客
09-16 284
Tensorflow2.0 梯度下降与激活函数 """ 梯度下降与激活函数 """ import tensorflow as tf print("==" * 30, "sigmoid") # sigmoid # 原始数据 x = tf.linspace(-10.0, 10.0, 10) # 梯度计算 with tf.GradientTape() as tape: tape.watch(x) y = tf.sigmoid(x) # 函数处理 grads = tape
激活函数、损失函数及其优化方法总结
爱吃串串的瘦子的博客
05-18 3997
1.1 激活函数　　关于激活函数，首先要搞清楚的问题是，激活函数是什么，有什么用？不用激活函数可不可以？答案是不可以。激活函数的主要作用是提供网络的非线性建模能力。如果没有激活函数，那么该网络仅能够表达线性映射，此时即便有再多的隐藏层，其整个网络跟单层神经网络也是等价的。因此也可以认为，只有加入了激活函数之后，深度神经网络才具备了分层的非线性映射学习能力。 那么激活函数应该具有什么样的性质呢？　　...
TensorFlow 2.0 笔记（四）—— 随机梯度下降
随笔
09-25 443
随机梯度下降
[转载] TensorFlow2.0 学习 线性回归
u013946150的博客
01-19 146
参考链接： 使用Tensorflow进行线性回归 import numpy as np import tensorflow as tf X = np.array([1, 2, 3, 4, 5], dtype=np.float32) y = np.array([10, 19, 31, 42, 53], dtype=np.float32) # X = (X_raw - X_raw.min()) / (X_raw.max() - X_raw.min()) # y = (y_raw - y_..
梯度与激活函数
milk_and_bread的博客
08-24 1278
梯度 初始化的影响 同样的网络，同样的参数，初始化不同，梯度下降的速度不同，得到最小值也不同，如上图。 学习率的影响 学习率影响收敛的速度，初始情况下可以设置的大一些，不收敛在设置的小一些。 动量 梯度下降的时候，可能到达局部最优的情况，这时候给一个动量，用惯性冲出局部最优的情况。 常见公式求解梯度 激活函数 derivative 激活函数特点：在z=0z = 0z=0处不可导 Sigmoid Logistic 特点：将zzz从(−∞(- \infty(−∞,∞), \infty),∞)拉回到
14. Tensorflow2.0 梯度下降,函数优化实战,手写数字问题实战以及Tensorboard可视化！
11-29 513
1. 梯度下降（Gradient Descent） 1.1. What’s Gradient 1.2. What does it mean 1.3. How to Search 1.4. AutoGrad GradientTape Persistent GradientTape 2nd-order import tensorflow as tf w = tf.Var...
tensorflow2.0基本操作优化函数构建(梯度求解)/梯度下降
CSDNXXCQ的博客
05-09 184
import numpy as np from mpl_toolkits.mplot3d import Axes3D from matplotlib import pyplot as plt import tensorflow as tf def himmelblau(x): return (x[0] ** 2 + x[1] - 11) ** 2 + (x[0] + x[1] ** 2 - 7) ** 2 #数据的范围 x = np.arange(-6, 6, 0.1) y
TensorFlow损失函数（loss function）
热门推荐
hongxue8888的博客
08-14 3万+
神经网络模型的效果及优化的目标是通过损失函数来定义的。1、经典损失函数分类问题和回归问题是监督学习的两大种类。分类问题常用方法：交叉熵（cross_entropy），它描述了两个概率分布之间的距离，当交叉熵越小说明二者之间越接近。它是分类问题中使用比较广的一种损失函数。 给定两个概率分布p和q，通过q来表示p的交叉熵为： H(p,q)=−∑xp(x)logq(x)H(p,q)=-\sum_x p
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值