![4312fcc7964cae123d81985d6b2d2a6c.png](https://i-blog.csdnimg.cn/blog_migrate/4e7071268c42f198c11a80b3131e717e.jpeg)
最近,威斯康辛大学麦迪逊分校统计学助理教授、机器学习和深度学习研究者 Sabastian Raschka 在 GitHub 上创建了一个项目,包含大量深度学习架构、模型和 tips。该项目发布两天即获得了 2000 多星,目前在 GitHub Trending 上名列第一。
![f039b367ba2243005b7eb98e32461471.png](https://i-blog.csdnimg.cn/blog_migrate/e13aa1cfba12ec392ea5d847ad3e4500.jpeg)
项目地址:https://github.com/rasbt/deeplearning-models
目录
该项目的目录如下:
- 传统机器学习
- 多层感知机
- 卷积神经网络(CNN)
- 度量学习(Metric Learning)
- 自编码器
- 生成对抗网络(GAN)
- 循环神经网络(RNN)
- 有序回归
- 技巧和窍门
- PyTorch 工作流和机制
- TensorFlow 工作流和机制
其中每个部分包含多个子部分,主要介绍了各部分相关的模型和 TensorFlow、PyTorch 实现。
以 CNN 为例,我们来看一下它包含哪些内容。
卷积神经网络
![88af4e16bb3572271cf1d60eb5773390.png](https://i-blog.csdnimg.cn/blog_migrate/873570f33a94cacab3a6177a18c1edb6.jpeg)
![ae0b3cd0f7c3c2286f14e828bab4d4ba.png](https://i-blog.csdnimg.cn/blog_migrate/e1e905e44571a0018f4149af0e5c5b70.jpeg)
这部分首先介绍了 CNN 的基础知识和概念,然后介绍了不同的 CNN 模型,如全卷积神经网络、AlexNet、VGG、ResNet 等,每个子部分都包含示例及其 TensorFlow 和 PyTorch 实现。
技巧和窍门
除了模型,该项目还介绍了一些模型训练的技巧和窍门。
![ab43931de0686fb23fa45139d84c57d8.png](https://i-blog.csdnimg.cn/blog_migrate/1915391840ef1c16015c07c7ee7fa251.jpeg)
这部分主要介绍了 PyTorch 中的周期学习率(cyclical learning rate),具体涉及三项内容:
- 简要介绍了周期学习率的基础概念;
- 使用「LR range test」为周期学习率选择基础和最大学习率;
- 使用周期学习率在 CIFAR-10 上训练简单的卷积神经网络。
详情参见:https://github.com/rasbt/deeplearning-models/blob/master/pytorch_ipynb/tricks/cyclical-learning-rate.ipynb
PyTorch 和 TensorFlow 的工作流和机制
该项目的最后介绍了 PyTorch 和 TensorFlow 的工作流和机制,涉及数据集、训练和预处理等内容。
![96d0cc37deaf3063c2669d0b05a7996e.png](https://i-blog.csdnimg.cn/blog_migrate/ce6cbe7337ead417b3c1f28f63aaaae0.jpeg)
![1da1dcd94401d3fefc0f9d07996d2693.png](https://i-blog.csdnimg.cn/blog_migrate/edcb7776f163adcf397ac8ccf2992438.jpeg)