Tensorflow2.0学习(二):四个激活函数介绍以及梯度带

最新推荐文章于 2023-07-12 15:29:20 发布

hjxu2016

最新推荐文章于 2023-07-12 15:29:20 发布

阅读量734

点赞数

分类专栏：深度框架|TensorFlow & Keras

本文链接：https://blog.csdn.net/hjxu2016/article/details/104826176

版权

深度框架|TensorFlow & Keras 专栏收录该内容

32 篇文章 8 订阅

订阅专栏

文章目录

- 一、介绍tf2.0的四个激活函数
- 二、TF2.0解微分神器,tf.Gradient函数

版权提示:以下所有例子都是参考github大神制作,我只是搬运工
https://github.com/YunYang1994/TensorFlow2.0-Examples

一、介绍tf2.0的四个激活函数

分别是relu,sigmoid,tanh,softplus

mport tensorflow as tf
import numpy as np
import matplotlib.pyplot as plt

# -5 ,5 之间生成100个等差数列的数据
x = np.linspace(-5, 5, 100)

# 下面将展示一些tf2.0的激活函数
# 1\ relu
y_relu = tf.nn.relu(x)
y_sigmoid = tf.nn.sigmoid(x)
y_tanh = tf.nn.tanh(x)
y_softplus = tf.nn.softplus(x)

# plt to visualize these activation function
plt.figure(1, figsize=(8, 6))
plt.subplot(221)
plt.plot(x, y_relu, c='red', label='relu')
plt.ylim((-1, 5))
plt.legend(loc='best')

plt.subplot(222)
plt.plot(x, y_sigmoid, c='red', label='sigmoid')
plt.ylim((-0.2, 1.2))
plt.legend(loc='best')

plt.subplot(223)
plt.plot(x, y_tanh, c='red', label='tanh')
plt.ylim((-1.2, 1.2))
plt.legend(loc='best')

plt.subplot(224)
plt.plot(x, y_softplus, c='red', label='softplus')
plt.ylim((-0.2, 6))
plt.legend(loc='best')

plt.show()

图如下
在这里插入图片描述

二、TF2.0解微分神器,tf.Gradient函数

import tensorflow as tf

x = tf.constant(3.0)
with tf.GradientTape(persistent=True) as t:
    t.watch(x)       # Ensures that `tensor` is being traced by this tape.
    y = x * x
    z = y * y
dz_dx = t.gradient(z, x)  # 108.0 (4*x^3 at x = 3)
dy_dx = t.gradient(y, x)  # 6.0
print("dz/dx=", dz_dx.numpy())
print("dy/dx=", dy_dx.numpy())