深度学习基础路线

一 概率统计

第一章  概率统计上篇 
1.1  事件
1.2  随机变量
1.3  概率与条件概率
1.4  贝叶斯定理
1.5  朴素贝叶斯
1.6  期望、方差、协方差
1.7  最大似然、最大后验
案例：垃圾邮件过滤

第二章  概率统计中篇
2.1  常见分布总结
2.2  最大似然与贝叶斯的关系
2.3  熵与互信息
案例：最大似然估计


第三章  概率统计下篇
3.1  以 GMM 为例的统计建模
3.2  EM 算法 
案例：GMM 实践

二 优化

第一章  优化迭代法统一论
1.1  泰勒展式
1.2  函数极值分析
1.3  梯度下降法
1.4  随机梯度下降法
1.5  牛顿法
1.6  拟牛顿法 
1.7  线搜索 
1.8  线性回归
案例：梯度下降法求解函数极值

第二章  深度学习反向传播
2.1  神经网络训练
案例：反向传播算法实践

第三章  凸优化基础
3.1  约束优化问题
3.2  凸集
3.3  凸函数
3.4  凸优化问题 
案例：凸优化问题转化


第四章  凸优化进阶之对偶理论
4.1  对偶问题
4.2  强对偶
4.3  弱对偶
4.4  maxmin 与 minmax
4.5  鞍点解释
4.6  KKT 条件 
案例： 对偶理论应用


第五章  SVM
5.1  间隔与支撑向量
5.2  对偶问题
5.3  SMO
5.4  核函数 
案例： SVM 对实际数据集进行分类

三数据降维

第一章  矩阵分析上篇 
1.1  矩阵与张量
1.2  可逆矩阵
1.3  线性相关
1.4  子空间
1.5  范数
1.6 特殊矩阵和特征分解
案例：PCA 数据降维


第二章  矩阵分析下篇 
2.1  SVD
2.2  SVD 与特征分解关系
2.3  图像压缩
2.4  伪逆
2.5  迹与行列式
案例：SVD 对图像进行压缩