深度学习的数学基础要求

最新推荐文章于 2022-09-18 10:08:59 发布

物流公共

最新推荐文章于 2022-09-18 10:08:59 发布

阅读量1.8k

点赞数 2

本文链接：https://blog.csdn.net/uytrrfg/article/details/87004710

版权

随着人工智能加速进入中国，特别是以深度学习为代表的算法，更是碾压人类的智慧，人类又在一个围棋领域失守，这是继象棋失守之后的大突破。下一个领域会是在什么地方呢？据说在皮肤癌症方面判断，已经超越了相关专业的医生。中医里注重的“望闻问切”，其中望这个领域，很快就可能让人工智能领先了。要想了解深度学习相关内容，必须要学会以下的相关数学知识，现在才发现数学不是用来考试的，不是无用的，“书到用时方恨少”。

书目如下：

概率论与统计概率与统计北京大学出版社陈家鼎DeGroot, Morris H., and Mark J. Schervish. Probability and Statistics. 3rd ed. Boston

高等代数、线性代数 Introduction to Linear Algebra, Fourth Edition by Gilbert Strang

多元统计分析应用多元统计分析高惠璇编著, 北京大学出版社Applied Multivariate Statistical Analysis (6th Edition) ，Richard A. Johnson, Dean W. Wichern

借鉴Andrew Ng的得意门生，umich 助理教授，Honglak Lee的要求：

Probabilistic Graphical Models 概率图模型

Linear and nonlinear optimization 线性与非线性优化

Convex optimization 凸优化

Real Analysis 实分析

Functional Analysis 泛函分析

Stochastic Process 随机过程

Theory of Probability 概率论

1. 线性代数
　　Skyler Speakman曾说：“线性代数式21世纪的数学”，我完全赞同该论述。在ML领域，线性代数无处不在。主成分分析（PCA）、奇异值分解（SVD）、特征分解、LU分解、QR分解、对称矩阵、正交化&标准正交化、矩阵运算、投射、特征值&特征向量、向量空间和规范等这些概念对理解机器学习的优化方法都是必须的。我认为线性代数很棒的一点是，互联网上的资源非常多。我总是说传统课堂要消亡，因为互联网上有如此大量的资源。我最喜欢的线性代数课程是MIT的Gilbert Strang教授的。
　　2. 概率论与数理统计
　　机器学习和数理统计并不是完全不同的领域。事实上，最近有人把机器学习定义为“在Mac上做数理统计”。ML需要的数理统计基础和概率论知识包括组合数学、概率规则&公理、贝叶斯定理、随机变量、方差和均值、条件和联合分别、标准分布（伯努利、二项、多项、统一和高斯）、矩母函数、最大似然估计（MLE）、先验和后验、最大后验估计（MAP）和采样方法。
　　3. 多元微积分
　　必要的概念包括微积分、偏导数、向量函数、方向梯度、Hessian、Jacobian、Laplacian和Lagragian分布。
　　4. 算法和复杂性优化
　　这对理解机器学习算法的计算效率和可扩展性以及数据集的开发稀疏性很重要。需要数据结构（二叉树、Hashing、Heap、Stack等等）的知识，以及动态编程、随机&次线性算法、图形、梯度/随机趋势、以及原对偶方法的知识。
　　5. 其他
　　这包括上述4个主要领域没有涉及的其他数学概念。包括实分析与复分析（集合和序列、拓扑结构、度量空间、单值和连续函数、极限）、信息理论（熵、信息增益）、函数空间和流形。
　　下面是部分机器学习所需数学概念的一些MOOC和学习资料：
Khan Academy’s Linear Algebra, Probability & Statistics, Multivariable CalculusandOptimization.
Coding the Matrix: Linear Algebra through Computer Science Applications by Philip Klein, Brown University.
Linear Algebra – Foundations to Frontiers by Robert van de Geijn, University of Texas.
Applications of Linear Algebra, Part 1 and Part 2. A newer course by Tim Chartier, Davidson College.
Joseph Blitzstein – Harvard Stat 110 lectures
Larry Wasserman’s book – All of statistics: A Concise Course in Statistical Inference .
Boyd and Vandenberghe’s course on Convex optimisation from Stanford.
Linear Algebra – Foundations to Frontiers on edX.
Udacity’s Introduction to Statistics.
　　最后，本文的主要目的是提供有关机器学习所需的重要数学概念的建议和有用的资源。但是，有些机器学习爱好者可能是数学初学者，会觉得这篇文章令人沮丧（这并不是我的目的）。对初学者来说，你并不需要先学好大量数学知识再开始做机器学习。正如这篇文章提到的，最基本的需要是数据分析，然后你可以在掌握更多技术和算法的过程中继续学习数学。