tf系列5——模型反向传播3个函数

最新推荐文章于 2024-04-17 11:08:28 发布
最新推荐文章于 2024-04-17 11:08:28 发布
阅读量267 收藏
点赞数
分类专栏： # tensorflow和pytorch
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/xiaotiig/article/details/115615983
版权

反向传播


2种配置方法，一共3个参数。

（1）优化器
（2）损失函数
（3）评价指标

1 model.compile()方式

下面这个比较详细
https://blog.csdn.net/yunfeather/article/details/106461754

model.compile(optimizer=tf.keras.optimizers.Adam(),
loss=‘sparse_categorical_crossentropy’,
metrics=[‘accuracy’])

model.compile(
optimizer=tf.keras.optimizers.Adam(learning_rate=0.001),
loss=tf.keras.losses.sparse_categorical_crossentropy,
metrics=[tf.keras.metrics.sparse_categorical_accuracy]
)

2 自定义损失函数与评价指标

Unet模型构建
https://blog.csdn.net/xiaotiig/article/details/110355605

晓码bigdata
关注
专栏目录
只用TensorFlow的反向传播实现的RNN
Talk Is Cheap
01-12 1203
rnn.py def simple_rnn(cell,inputs,init_state=None,batch_size=None,dtype=None): state = init_state if state is None: state = cell.zero_state(batch_size, dtype) outputs = [] f
淘宝模拟请求的坑
ken的小天地
04-01 4079
前言 最近在搞淘宝模拟请求,上次把请求的加密参数搞定,所以接着把整个流程搞完. 坑 sign坑 sign中签名参数c.data千万不能用json序列化.因为签名的顺序是固定的,用json将字典序列化后是顺序是随机的. page坑 page=1请求在url中是字符串,page=2请求在url中是数字.真是巨坑,调试了好久. cookie坑 没有登录时,只能获取page=1的商品数据.无法获...
某某88逆向总结
最新发布
Steven_yang_1的博客
04-17 514
当调试接口的时候发现，可能请求格式有错误导致没有发现以上问题.其实我的sign和t是一致的，主要是格式问题导致我一直是COOKIE中有加密参数。实际上COOKIE中的加密参数并没有问题，破解完了以后发现TSFTK其实只需要传入url.有动态加密的嫌疑，ISG是动态自动生成的没有嫌疑。3，SIGN中的TOKEN 参数是 cookie中的_m_h5_tk ，_m_h5_tk 后面的时间是COOKIE过期时间。_m_h5_tk_enc 是COOKIE的令牌，基本需要逆向所有数据。
反向传播BP模型
lzj0470的专栏
11-05 148
学习是神经网络一种最重要也最令人注目的特点。在神经网络的发展进程中，学习算法的研究有着十分重要的地位。目前，人们所提出的神经网络模型都是和学习算法相应的。所以，有时人们并不去祈求对模型和算法进行严格的定义或区分。有的模型可以有多种算法．而有的算法可能可用于多种模型。不过，有时人们也称算法为模型。 自从40年代Hebb提出的学习规则以来，人们相继提出了各种各样的学习算法。其中以在1986年R...
TensorFlow入门（3）：反向传播
Housz的博客
01-05 883
环境：Ubuntu 16.04，Python 3，Tensoflow-gpu v1.9.0 ，CUDA 9.0 反向传播 反向传播即：训练模型参数，在所有参数上使用梯度下降，使得模型在训练数据上的损失函数最小。 神经网络实现的第一步就是准备数据集。数据集中除了特征值，还要有这组特征相对应的标签值（已知答案）。我们就是利用这些已知的数据对<特征,标签><特征...
tensorflow学习之神经网络反向传播——six
weixin_46297839的博客
02-21 271
1.反向传播是训练模型参数，在所有参数上用梯度下降，使NN模型在训练数据上的损失函数最小。 2.损失函数是预测值（y）与一直答案（y_）的差距； 损失函数语句：loss=tf.reduce_mean(tf.square(y_-y)) 均方误差MSE： 反向传播训练方法以减少loss值为优化目标。 train_step=tf.train.GradientDescentOptimizer(learn...
tf2.0应负面试官——反向传播
weixin_40935425的博客
05-25 221
我们接着之前的内容 之前的文章分别介绍了TensorFlow中张量的一些基本知识： tf2.0学习（四）——反向传播4.1 导数与梯度4.2 导数的常见性质4.2.1 基本函数的导数4.2.2 常用导数的性质4.3 激活函数的导数4.3.1 Sigmoid函数导数4.3.2 ReLU函数导数4.3.3 LeakyReLU 函数导数4.3.4 Tanh函数导数4.4 损失函数的梯度4.4.1 均方误差函数梯度4.4.2 交叉熵函数梯度4.5 全连接层梯度4.5.1 单神经网络梯度4.5.2 全连接层梯度4.6
手搓神经网络——BP反向传播
余將董道而不豫兮的博客
12-23 847
这里只采用 ReLU、Sigmoid 作为神经网络的激活函数，MSE 作为损失函数下面列了这仨的计算公式与导数的计算公式。除了定义计算方式，也定义了其求导公式，因为链式法则，懂吧？😁 就是为了方便后面的求导（也就是误差反向传播）
TensorFlow基础（三）——反向传播
qq_37764129的博客
07-01 292
代码实现： #coding:utf-8 #0、导入模块，生成模拟数据集 import tensorflow as tf import numpy as np #python的科学计算模块 BATCH_SIZE = 8 #数值不能过大 seed = 23455 #基于seed产生随机数 rng = np.random.RandomState(seed) #随机数返回32行2列的矩阵...
神经网路（Neural Network building）—— 前向传播和反向传播
weixin_42414405的博客
05-28 417
神经网络： 随着人工智能的崛起，Python渐渐开始成为编写人工智能的主要工具语言，由于Python易于编写且在整个大环境下，工具包非常丰富，所以我认为也是写神经网络的最佳语言。神经网络由输入层、隐藏层和输出层构成，隐藏层越多，说明整个神经网络越复杂，计算复杂度也越高，理所当然的计算耗时就越长。每个隐藏层上的神经元节点，也就是说每个Neural，简单地说，它的值由它的入度边的权值*...
【AI】从正则化到反向传播——深度学习中的参数优化算法
程序员光剑
08-24 217
随着人工智能技术的迅速发展，基于神经网络的机器学习方法越来越普及，深度学习已经成为当前最热门的研究方向之一。随着深度学习技术的不断革新，近几年来，许多领域的模型都采用了高度非凡的结构，如CNN、RNN、GAN等。这些模型的参数优化过程也同样变得十分复杂，为了训练出好的模型，需要对它们的超参数进行优化，而寻找一个合适的参数更新策略也是非常重要的。
AIGC实战——自回归模型(Autoregressive Model)
盼小辉丶的博客
01-05 3660
自回归模型 (Autoregressive Model) 通过将生成问题视为一个序列过程来简化生成模型。自回归模型将预测条件建立在序列中的先前值上，而不是一个以随机潜变量为条件。因此，自回归模型尝试对数据生成分布进行显式建模，而不是尝试近似数据分布。在本节中，将介绍一类经典的自回归模型，长短期记忆网络 (Long Short-Term Memory Network, LSTM)，并将 LSTM 应用于生成文本数据。
反向传播在做什么？线性回归模型的建立
wpqgt的博客
10-18 128
初学神经网络，对于反向传播的理解一直不是很深刻，但读到一篇帖子并编程跑了一下后忽然豁然开朗，故记录在此提示：以下是本篇文章正文内容，下面案例可供参考简单阐述了反向传播，记录了线性回归模型。
tensorflow学习笔记(2)-反向传播
qq_37633207的博客
05-26 82
　　　　　　　　　　　　　　tensorflow学习笔记(2)-反向传播 　　反向传播是为了训练模型参数，在所有参数上使用梯度下降，让NN模型在的损失函数最小 　　损失函数:学过机器学习logistic回归都知道损失函数-就是预测值和真实值得差距，比如sigmod或者cross-entropy 　　均方误差:tf.reduce_mean(tf.square(y-y_))很好理解，假如在欧...
tensorflow函数测试之tf.tile
Hello_word5的博客
05-20 233
主要功能是对张量自身进行不同阶上的复制 其参数如下: tile( input, multiples, name=None ) 其中 input:要处理的张量，可以是任意阶的 说明在哪个方向上进行复制，一阶int型张量，维度等于input的阶数，每一维度上的值是要复制的次数 例 import tensorflow as tf raw = tf.constan...
动手学深度学习学习笔记tf2.0版（3.14 正向传播、反向传播和计算图）
岁月如歌
03-01 278
注意： S和L的来源 部署时候只采用前向传播的网络要快一些的其中一个重要原因
Keras同时有多个输出时损失函数计算方法和反向传播过程
/dev/null
01-08 1444
来源：https://stackoverflow.com/questions/57149476/how-is-a-multiple-outputs-deep-learning-model-trained Keras calculations are graph based and use only one optimizer. The optimizer is also a part o...
Tensorflow2 model.compile()理解
Toby的博客
07-22 6030
在TensorFLow2中进行神经网络模型的训练主要包括以下几个主要的步骤： 导入相关模块import 准备数据，拆分训练集train、测试集test 搭建神经网络模型model (两种方法：Sequential或自定义模型class) 模型编译model.compile() 模型训练model.fit() 查看模型model.summary() 模型评价 模型预测model.predict() model.compile()的作用就是为搭建好的神经网络模型设置损失函数loss、优化器opt
keras model.compile(loss='目标函数 ', optimizer='adam', metrics=['accuracy'])
热门推荐
weixin_30919429的博客
03-28 1万+
　　目标函数，或称损失函数，是网络中的性能函数，也是编译一个模型必须的两个参数之一。由于损失函数种类众多，下面以keras官网手册的为例。 在官方keras.io里面，有如下资料： mean_squared_error或mse mean_absolute_error或mae mean_absolute_percentage_error或mape mea...
反向传播中loss函数的可视化代码
05-30
以下是使用TensorFlow可视化loss函数的代码示例： ```python import tensorflow as tf import matplotlib.pyplot as plt # 定义模型 model = tf.keras.Sequential([ tf.keras.layers.Dense(10, activation='relu', input_shape=(784,)), tf.keras.layers.Dense(10, activation='softmax') ]) # 定义损失函数和优化器 loss_fn = tf.keras.losses.SparseCategoricalCrossentropy() optimizer = tf.keras.optimizers.Adam() # 定义训练函数 @tf.function def train_step(x, y): with tf.GradientTape() as tape: # 前向传播 y_pred = model(x) # 计算损失函数值 loss = loss_fn(y, y_pred) # 计算梯度 gradients = tape.gradient(loss, model.trainable_variables) # 更新模型参数 optimizer.apply_gradients(zip(gradients, model.trainable_variables)) return loss # 定义训练过程 def train(train_dataset, epochs): losses = [] for epoch in range(epochs): epoch_loss = 0.0 for step, (x, y) in enumerate(train_dataset): loss = train_step(x, y) epoch_loss += loss losses.append(epoch_loss / (step + 1)) print('Epoch {} loss: {:.4f}'.format(epoch + 1, epoch_loss / (step + 1))) # 可视化损失函数值 plt.plot(losses) plt.title('Training Loss') plt.xlabel('Epoch') plt.ylabel('Loss') plt.show() # 训练模型 train(train_dataset, epochs=10) ``` 在训练过程中，将每个epoch的损失函数值存储在一个列表中，最后使用matplotlib库将损失函数值可视化出来。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

晓码bigdata

如果文章给您带来帮助，感谢打赏

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值