1.视频网站:mooc慕课https://mooc.study.163.com/university/deeplearning_ai#/c
2.详细笔记网站(中文):http://www.ai-start.com/dl2017/
3.github课件+作业+答案:https://github.com/stormstone/deeplearning.ai
第三周 超参数调试、Batch正则化和程序框架 Hyperparameter tuning, Batch Normalization,Programming Frameworks
- 3.1 调试处理(超参) Tuning process
- 3.2 为超参数选择合适的范围 Using an appropriate scale to pick hyperparameters
- 3.3 超参数训练的实践:Pandas VS Caviar Hyperparameters tuning in practice:Pandas vs. Caviar
- 3.4 归一化(正则化)网络的激活函数 Normalizing activations in a network
- 3.5 将 Batch Norm 拟合进神经网络 Fitting Batch Norm into a neural network
- 3.6 Batch Norm 为什么奏效?Why does Batch Norm work?
- 3.7 测试时的 Batch Norm (Batch Norm at test time)
- 3.8 Softmax 回归 Softmax regression
- 3.9 训练一个 Softmax 分类器 Trying a softmax classifier
- 3.10 深度学习框架 Deep Learning frameworks
- 3.11 TensorFlow
- 课后作业
- 课后编程
3.1 调试处理(超参) Tuning process
2020-6-8 吴恩达-改善深层NN-w3 超参数调试(3.1 调试处理-指导原则,随机选取点和由粗糙到精细调参)
3.2 为超参数选择合适的范围 Using an appropriate scale to pick hyperparameters
2020-6-9 吴恩达-改善深层NN-w3 超参数调试(3.2 为超参数选择合适的范围–选择合适的标尺)
3.3 超参数训练的实践:Pandas VS Caviar Hyperparameters tuning in practice:Pandas vs. Caviar
2020-6-9 吴恩达-改善深层NN-w3 超参数调试(3.3 超参数训练的实践:Pandas(资源少,一次一个模型) VS Caviar(资源多,一次多个模型))
3.4 归一化(正则化)网络的激活函数 Normalizing activations in a network
2020-6-10 吴恩达-改善深层NN-w3 Batch归一化(3.4 归一化(正则化)网络的激活函数–batch归一化介绍,通过参数γ和β标准化隐藏层单元z值)
3.5 将 Batch Norm 拟合进神经网络 Fitting Batch Norm into a neural network
2020-6-12 吴恩达-改善深层NN-w3 Batch归一化(3.5 将 Batch归一化-简称BN-拟合进NN(梯度下降法中使用BN))
3.6 Batch Norm 为什么奏效?Why does Batch Norm work?
2020-6-15 吴恩达-改善深层NN-w3 Batch归一化(3.6 Batch Norm 为什么奏效?归一化前层输出的均值和方差,减少了对后层的影响,有助于加速NN学习。副作用是正则。)
3.7 测试时的 Batch Norm (Batch Norm at test time)
2020-6-16 吴恩达-改善深层NN-w3 Batch归一化(3.7 测试时的 Batch Norm–mini batch需要使用指数加权平均估算均值μ和方差σ**2)
3.8 Softmax 回归 Softmax regression
2020-6-16 吴恩达-改善深层NN-w3 多种可能分类Multi class classification(3.8 Softmax 回归–Softmax激活函数识别多种分类)
3.9 训练一个 Softmax 分类器 Trying a softmax classifier
2020-6-16 吴恩达-改善深层NN-w3 多种可能分类Multi class classification(3.9 训练一个 Softmax 分类器)
3.10 深度学习框架 Deep Learning frameworks
2020-6-22 吴恩达-改善深层NN-w3 程序框架(3.10 深度学习框架–选择框架的标准)
3.11 TensorFlow
2020-6-22 吴恩达-改善深层NN-w3 程序框架(3.11 TensorFlow)
课后作业
2020-9-7 吴恩达-改善深层NN-w3 超参数调试、Batch正则化和程序框架(课后作业)
课后编程
2020-8-23 吴恩达-改善深层NN-w3 超参调整/批量正则化/编程框架(课后编程-TensorFlow Tutorial-手势辨认)