tensorflow2.0 建模教程 常用操作集合系列3—Model自定义模型的训练和参数调优loss gradient optimizer

推荐：
【tensorflow2.0最新建模教程】，如下：
tensorflow2.0教程 常用操作集合1—Layer自定义层的设计

常用操作集合系列2—Model自定义模型的设计

常用操作集合系列3—Model自定义模型的训练和参数调优loss gradient optimizer
常用操作集合系列4—损失函数正则化解决模型过拟合

在完成上篇tensorflow2.0 建模教程系列2 自定义模型的设计后，我们要灌入训练数据进行训练了，这就涉及到训练过程中最重要的损失函数、梯度下降和调参调优。
在tf2.0版本中，最重要的图计算方法 with tape.GradientTape() as tape，可以设计完成整个过程。

1损失函数我们可以用loss_fn表达：

loss_fn=tf.keras.losses.categorical_crossentropy(from_logits=True)

2选取优化器

optimizer=tf.keras.optimizers.SGD(learning_rate=1e-3)

3梯度计算：