Tensorflow(5):梯度下降，激活函数，反向传播及链式法则，fashionMNIST实战，kerasAPI，自定义网络层，加载和保存模型，CIFAR10实战

最新推荐文章于 2022-02-12 23:52:00 发布

weixin_51182518

最新推荐文章于 2022-02-12 23:52:00 发布

阅读量737

点赞数

文章标签：深度学习 tensorflow 神经网络 python

本文链接：https://blog.csdn.net/weixin_51182518/article/details/113265801

版权

本文介绍了Tensorflow中的梯度下降原理，包括什么是梯度、如何利用梯度进行搜索，以及如何使用autograd和presistent GradientTape。详细探讨了激活函数，如Sigmoid、ReLU及其梯度。讲解了损失函数，特别是交叉熵，并展示了如何在fashionMNIST和CIFAR10数据集上进行实战。此外，文章还涵盖了自定义网络层、模型的保存与加载，以及使用TensorBoard进行可视化。

摘要由CSDN通过智能技术生成

1、梯度下降

what is gradient

导数，derivative
偏微分 partial derivative
梯度，gradient

在这里插入图片描述
梯度是每一个轴的偏微分组合而成的向量

what does it mean

梯度的方向是函数值变大的反向
在这里插入图片描述

how to search

按照梯度反向更新
在这里插入图片描述

autograd

with tf.GradientTape()as tape:
[w_grad]=tape.gradient(loss,[w])
在这里插入图片描述

presistent GradientTape

可以再调用一次
在这里插入图片描述

实战案例

import tensorflow as tf

w = tf.Variable(1.0)
b = tf.Variable(2.0)
x = tf.Variable(3.0)

with tf.GradientTape() as t1:
  with tf.GradientTape() as t2:
    y = x * w + b
  dy_dw, dy_db = t2.gradient(y, [w, b])
d2y_dw2 = t1.gradient(dy_dw, w)

print(dy_dw)
print(dy_db)
print(d2y_dw2)

assert dy_dw.numpy() == 3.0
assert d2y_dw2 is None