matlab 神经网络自动微分,自动微分机制 - Python与算法之美的个人空间 - OSCHINA - 中文开源技术交流社区...

俗话说，万丈高楼平地起，TensorFlow这座大厦也有它的地基。

Tensorflow底层最核心的概念是张量，计算图以及自动微分。

本篇我们介绍自动微分。

神经网络通常依赖反向传播求梯度来更新网络参数，求梯度过程通常是一件非常复杂而容易出错的事情。

而深度学习框架可以帮助我们自动地完成这种求梯度运算。

Tensorflow一般使用梯度磁带tf.GradientTape来记录正向运算过程，然后反播磁带自动得到梯度值。

这种利用tf.GradientTape求微分的方法叫做Tensorflow的自动微分机制。

一，利用梯度磁带求导数

import tensorflow as tf

import numpy as np

# f(x) = a*x**2 + b*x + c的导数

x = tf.Variable(0.0,name = "x",dtype = tf.float32)

a = tf.constant(1.0)

b = tf.constant(-2.0)

c = tf.constant(1.0)

with tf.GradientTape() as tape:

y = a*tf.pow(x,2) + b*x + c

dy_dx = tape.gradient(y,x)

print(dy_dx)