![ff4ddd1aa750749d2b980d5eebbe50e6.png](https://i-blog.csdnimg.cn/blog_migrate/4fed569332d0da0bc14bb86e6c627fab.jpeg)
【新智元导读】Keras 作者 François Chollet 今天发表了一系列推文,如果你使用 TensorFlow 2.0 + Keras 做深度学习研究,这里有你需要知道的一切。
TensorFlow 2.0 前几天新鲜出炉,Alpha 版可以抢先体验。新版本主打简单易用可扩展,大大简化了 API。
Keras 作者 François Chollet 今天发表了一系列推文,用12个示例解释了使用TensorFlow 2.0 + Keras 的一些重要技巧。
如果你使用 TF 2.0 + Keras 做深度学习研究,这里有你需要知道的一切。
![0665b3546c65be2d4728fca20a4f7dad.png](https://i-blog.csdnimg.cn/blog_migrate/a53cde01b62e2ac407057e284ed5f253.jpeg)
Keras 作者 François Chollet
1)你需要知道的第一个类是 “Layer”。一个 Layer 封装了一个状态 (权重) 和一些计算 (在 “call” 方法中定义)。
![f6e368c9a5972e2099539f940df3359b.png](https://i-blog.csdnimg.cn/blog_migrate/5789b6d0d549fca0e549d99c74510eb2.jpeg)
2)“add_weight” 方法提供了创建权重的快捷方式。
3)最好在一个单独的 “build” 方法中创建权重,使用你的 layer 看到的第一个输入的形状来调用该方法。这种模式让我们不用必须指定’ input_dim ‘:
![d7fa85408ad31e35fc27db39e19ca080.png](https://i-blog.csdnimg.cn/blog_migrate/9a9879c26c9ffd2b2185e755bd1caa2b.jpeg)
4)你可以通过在 GradientTape 中调用 layer 来自动检索该层权重的梯度。使用这些梯度,你可以手动或使用优化器对象来更新 layer 的权重。当然,你也可以在使用梯度之前修改它们。
![6426a45b6481bc619b52471cc10da9bf.png](https://i-blog.csdnimg.cn/blog_migrate/88e5550ea810f63eee05908bd59a69c9.jpeg)
5)由 layers 创建的权重可以是可训练的,也可以是不可训练的。是否可训练可以在 layer 的属性 “trainable_weights” 和 “non_trainable_weights” 中看到。比如,这是一个具有不可训练权重的层:
![5a1b6653b7129422164334886e7b3232.png](https://i-blog.csdnimg.cn/blog_migrate/70ced3bcf7555e4e3a1c64083f278d58.jpeg)
6)层可以递归地嵌套,以创建更大的计算块。每一层将跟踪其子层的权重 (包括可训练的和不可训练的)。
![2545562f3addf92d7a3c255480fe71ff.png](https://i-blog.csdnimg.cn/blog_migrate/8fe0c702fdc4aa5ede2b953eda1c9843.jpeg)
7)层会在前向传递时创建损失。这对于正则化损失特别有用。子层创建的损失由父层递归跟踪。
![5dc708dc99634999dbcadedf62504330.png](https://i-blog.csdnimg.cn/blog_migrate/251ec522843fd16010cd2661cbfecc40.jpeg)
8)这些损失在每次向前传递开始时由顶层清除 —— 它们不会累积。“layer.losses” 总是只包含在 “最后一次” 前向传递时产生的损失。在编写训练循环时,你通常需要将这些损失累加起来使用。
![3c6cf8f000ba15132b7d6fc86796526a.png](https://i-blog.csdnimg.cn/blog_migrate/482df1af164a7f2305a100e4afc6c222.jpeg)
9)TF 2.0 默认情况下是 eager。但是通过将计算编译成静态图,将能够获得更好的性能。静态图是研究人员最好的朋友!你可以通过将其包装在一个 tf.function 中来编译任何函数:
![c7ab2f1305273e93bb667c28ba05d45c.png](https://i-blog.csdnimg.cn/blog_migrate/05cd0ce558a032c5d11378d3c0229448.jpeg)
10)有些层,特别是 “BatchNormalization” 层和 “退 Dropout” 层,在训练和推理过程中会表现出不同的行为。对于这样的层,标准做法是在 “call” 方法中加入一个 “training”(boolean) 参数。
![c7ab2f1305273e93bb667c28ba05d45c.png](https://i-blog.csdnimg.cn/blog_migrate/05cd0ce558a032c5d11378d3c0229448.jpeg)
11)有很多内置层是可用的,从 Dense 层到 Conv2D 层到 LSTM 层,再到 Conv2DTranspose 或 ConvLSTM2D。你要学会好好重用这些内置函数。
12)要构建深度学习模型,你不必总是使用面向对象编程。到目前为止,我们看到的所有层都可以按函数组合,就像这样 (我们称之为 “Functional API”):
![b97ce50e6a48c551a532500b2d5a562f.png](https://i-blog.csdnimg.cn/blog_migrate/0a7f3c3dffe623cb7a373a02666109fa.jpeg)
函数式 API 往往比 subclassing 更简洁,并且还有其他优点。
了解关于 Functional API 的更多信息:
https://www.tensorflow.org/alpha/guide/keras/functional
但是,请注意,函数式 API 只能用于定义层的 DAGs—— 递归网络应该定义为 “Layer” 子类。
在研究工作中,你可能经常发现自己混合匹配了 OO 模型和函数式模型。
以上,就是使用 TensorFlow 2.0 + Keras 来重新实现大多数深度学习研究论文所需要的全部内容!
现在让我们来看一个非常简单的例子:hypernetworks。
hypernetwork 是一个深度神经网络,它的权重由另一个网络 (通常较小) 生成。
让我们实现一个非常简单的 hypernetwork:我们将使用前面定义的 “Linear” 层,并使用它生成另一个 “Linear” 层。
![d80b0370b47bc6527247a9f6c258e6d7.png](https://i-blog.csdnimg.cn/blog_migrate/722dc9d13d21f3653fe162dd7ee34b5e.jpeg)
另一个快速示例:以任何一种风格实现 VAE,可以是 subclassing,或者函数式 API。找到最适合你的方法吧!
![8a3c26a88ab67678ee79934abaca8098.png](https://i-blog.csdnimg.cn/blog_migrate/ecff75517bb828072f6769e4988b2695.jpeg)
subclassing
![9e59425584a19d936f3c164085f0ff59.png](https://i-blog.csdnimg.cn/blog_migrate/4e84000d2c5b89d9bbcb1a15e8c63f3f.jpeg)
Functional API
最后,你可以在这个 Colab 笔记本中使用这些代码示例:
https://colab.research.google.com/drive/17u-pRZJnKN0gO5XZmq8n5A2bKGrfKEUg