深度学习原理 Lesson 10：深入理解模型Model

1

   

本节简介

1. callback

   1. 了解callbacks和event handlers的本质

   2. 了解Python中应用callbacks的方法，以及优缺点

   3. 用callback把cnn放到gpu上

2. 其他基础原理

   1. __ dunder__ ：Python中的特殊符号

   2. 如何用editor查看源代码

   3. Variance 方差, standard deviation 标准偏差, covariance 协方差, correlation 相关性

   4. Softmax

   5. 异常

3. 重点

   1. 深入模型，看训练过程中的行为

   2. pytorch hooks，可以方便在Forward和Backward中加入callbacks

   3. 追踪Activations在每个layer上的变化

   4. 把追踪结果放在图像上，以找出问题

   5. 根据问题，修改Activation Function

   6. 介绍batchnorm，了解不适用的领域，优缺点

   7. 设计一种新的Normalization layer去解决这个问题

提前准备的文件05a_foundations.ipynb

2

   

Callbacks

回调函数：就是把一个函数当作参数一样传进来在Fast.ai中用的最多的就是以状态（Event）命名的callback函数，这样可以更好的定义此时该做什么事

2.1

   

基础例子

显示进度的callback：show_progress

更精简的版本，把show_progress写成lambda函数

2.2

   

callback上加额外参数 lambda & partial

如果要接收cb中的参数，并且额外再加个参数：

改成更直观的

用lambda精简下

inner这种方式有个专用的叫法：closure 闭包

但这一切都可以通过python中的partial方法来实现，这样可读性更高了！

2.3

   

Class Callback

这是没有状态的版本，只用到了内置的init和call