Task06

批量归一化和残差网络

1. 批量归一化（BatchNormalization）
   • 对输入的标准化（浅层模型）
   • 批量归一化（深度模型）
     1.对全连接层做批量归一化
     2.对卷积层做批量归⼀化
     3.预测时的批量归⼀化
     从零实现
     基于LeNet的应用
     简洁实现
2. 残差网络（ResNet）
   残差块（Residual Block）
   ResNet模型
3. 稠密连接网络（DenseNet）
   主要构建模块：
   稠密块
   过渡层
   DenseNet模型

凸优化

1. 优化与深度学习
   优化与估计
   优化在深度学习中的挑战
   局部最小值
   鞍点
   梯度消失
2. 凸性 （Convexity）
   基础
   集合
   函数
   Jensen 不等式
   3.性质
   无局部最小值
   与凸集的关系
   凸函数与二阶导数
3. 限制条件
   拉格朗日乘子法
   惩罚项
   投影

梯度下降

1. 梯度下降
   一维梯度下降
   学习率
   局部极小值
   多维梯度下降
   自适应方法
   牛顿法
   收敛性分析
   预处理 （Heissan阵辅助梯度下降）
   梯度下降与线性搜索（共轭梯度法）
2. 随机梯度下降
   随机梯度下降参数更新
   动态学习率
3. 小批量随机梯度下降
   读取数据
   从零开始实现
   简洁实现