深度学习数学知识点

• 一、线性代数
• 二、概率论
• 三、微积分
• 四、凸优化
• 参考资料

一、线性代数

书籍&视频

• 李宏毅线性代数
• MIT Linear Algebra

知识点

1）线性空间及线性变换

2）矩阵的基本概念

3）状态转移矩阵

4）特征向量

5）矩阵的相关乘法

6）矩阵的QR分解

7）对称矩阵、正交矩阵、正定矩阵

8）矩阵的SVD分解

9）矩阵的求导

10）矩阵映射/投影

11）矩阵的秩

12）矩阵的特征值和特征空间

二、概率论

书籍&视频

• MIT Introduction to Probability and Statistics

知识点

1）微积分与逼近论

2）极限、微分、积分基本概念

3）利用逼近的思想理解微分，利用积分的方式理解概率

4）概率论基础

5）古典模型

6）常见概率分布

7）大数定理和中心极限定理

8）协方差(矩阵)和相关系数

9）最大似然估计和最大后验估计

二项分布和泊松分布的区别和联系

参考资料

• 互联网公司 概率面试题整理
• 面试中的概率题
• 2019 校园招聘算法面试概率题

三、微积分

• TODO

四、凸优化

1）凸优化基本概念

2）凸集

3）凸函数

4）凸优化问题标准形式

5）凸优化之Lagerange对偶化

6）凸优化之牛顿法、梯度下降法求解

拉格朗日乘子法能否求解非凸的目标函数问题？

参考资料

• 如何看懂深度学习论文里的数学原理部分？
  • 超级推荐！Mathematics for Machine Learning
  • 图解机器学习的数学基础专辑（完结）总结：who, why, what
• 《深度学习》圣经中有应用数学基础部分
• 优秀的程序员需要懂那些数学知识？
• 有什么深度学习数学基础书推荐？
• 机器学习理论篇1：机器学习的数学基础
• 图像处理中的数学方法
• MIT数学课程
• 优秀的程序员需要懂那些数学知识？
• Free online math resources for Machine Learning