“西瓜书”(《机器学习》,清华大学出版社)和“花书”(《深度学习》,人民邮电出版社)分别是目前国内机器学习、深度学习领域最受欢迎的教材。大家公认它们的质量是很高的,但一个尴尬的现状是:因为数学基础不扎实,很难入门并彻底掌握核心知识。
学好机器学习,需要哪些数学知识?
我们先看典型的机器学习算法所用到的数学知识点,如下表所示。
限于篇幅,这里没有列出强化学习、机器学习理论、自动化机器学习(AutoML)等内容所用的数学知识。
从这张表可以看出来,频繁用到的知识点就是向量和矩阵的运算,梯度下降法等优化算法,概率,信息论中的模型概念。
整体来说,就是下面这几门课的内容:
- 微积分
- 线性代数
- 概率论
- 最优化方法
- 信息论
- 随机过程
- 图论
下面这张图列出了这些知识的整体结构。其中线性代数与微积分是基础,其他的课程都是建立在它们之上的。最优化方法严重依赖于微积分的知识,信息论与随机过程是概率论的延伸。