数学必备知识点
1、 线性代数
标量、向量、矩阵和张量;矩阵向量的运算;单位矩阵和逆矩阵;行列式;方差,标准差,协方差矩阵;范数;特殊类型的矩阵和向量;特征分解以及其意义;奇异值分解及其意义
Moore-Penrose 伪逆;迹运算
线性变换和非线性变换
线性变换的定义
点积和投影
矩阵乘法的几何意义
特征向量和特征值
奇异值分解
线性可分性和维度
非线性变换
————————————————
2、 概率统计
概率学派和贝叶斯学派;何为随机变量和何又为概率分布;条件概率,联合概率和全概率公式;边缘概率;独立性和条件独立性;期望、方差、协方差和相关系数;常用概率分布;贝叶斯及其应用;中心极限定理;极大似然估计;概率论中的独立同分布
一个于概率论非常相关的领域-信息论也是深度学习的必要模块,理解信息论里关于熵,条件熵, 交叉熵的理论, 有助于帮助我们了解机器学习和深度学习的目标函数的设计, 比如交叉熵为什么会是各类分类问题的基础
3、 优化
计算复杂性与NP问题;上溢和下溢;导数,偏导数及两个特殊矩阵;方向导数和梯度;梯度下降法;牛顿法;仿射集,凸集和凸锥;超平面,半空间及凸集分离定理;不改变凸性的运算;凸函数及凸优化简述;无约束的优化,等式约束优化,不等式约束优化;线性规划中对偶理论;拉格朗日对偶理论
4、 信息论及其他
信息熵;条件熵;相对熵 (KL散度);互信息;几种常用的距离度量;图论;树论
上面数学基本上就是我们所要学的数学的全部了,看上去有点吓人是不?不要慌,没有那么难,一点点啃下去就可以了。
推荐资料:
资料一:机器学习王牌课程CS229课后配套数学,专门配套机器学习的。
链接:https://pan.baidu.com/s/1Fh__… 密码:48n4
资料二:Yoshua Bengio的《深度学习》书,网上公开的,前面有一部分是对数学的专门讲解,很基础很全面。
链接:https://pan.baidu.com/s/1A9mc… 密码:hwjn
资料三:知乎答主的优秀回答,很细致,适合初学者
线代专栏:https://zhuanlan.zhihu.com/p/…
概率统计:https://zhuanlan.zhihu.com/p/…
优化(上):https://zhuanlan.zhihu.com/p/…
优化(下):https://zhuanlan.zhihu.com/p/…
信息论及其他:https://zhuanlan.zhihu.com/p/…