Code_LT的博客

神经网络通常依赖反向传播求梯度来更新网络参数，求梯度过程通常是一件非常复杂而容易出错的事情。而深度学习框架可以帮助我们自动地完成这种求梯度运算。Tensorflow一般使用梯度磁带tf.GradientTape来记录正向运算过程，然后反播磁带自动得到梯度值。这种利用tf.GradientTape求微分的方法叫做Tensorflow的自动微分机制。...

文章1：一文搞懂tf.function文章2：Tensorflow 2.0上手6: 解剖tf.function的使用

variable类本质上也是一个tensor，但是他被赋予两个属性，一个是name，可以忽略，另一个是trainable翻译过来就是可训练的，也就是说这个变量在我们的前向传播和反向传播过程中会创建关于这个变量的w和b，也就是说，这个变量是需要一个梯度来实现参数更新。对于一个([2,3])维度的就取出他对应的维度就可以了，对于一个[2,3,4]维度的看前面的2,3取出对应位置的四个元素。，grads会返回一个list，与我们输入的参数顺序相同，还要注意，tape只会记录我们的。.........