第二天的李里准时站在了培训用的会议室当中。
李里:昨天我们进度不是很快,培训的内容也比较简单,今天开始我们要进入比较枯燥的数学理论的培训,你们要做好准备,可能最多进入机器学习领域而后又放弃的人都是由于被铺天盖地的数学公式给吓住了,一会儿看看拉普拉斯定理,一会儿又看看熵的定义,梯度上升与梯度下降都用在什么时候,学习数学知识确实需要时间和下苦功夫,很多开发框架和开源库都是辅助类的,你可以在不明白原理的情境下开发所需,但你要做到更准确的解决问题,更大提升建模的精准性,更高的算法效率那么数学是你绕不过去的,但也不需要把高数,离散,工程数学等教材拿来重头读一遍,这里列出来一些必备的知识点,这也是初入机器学习领域都研究了多遍的,给我的感受是第一遍你不见得能看懂,第二遍你可以配合着搜索引擎理解一些固定概念,第三遍你知道一些机器学习算法的推导原理了,所以别放弃多读几遍。
我打开了今天发的培训内容
爱视达智能科技基础概念培训表格二
| |
线性代数 |
在机器学习领域,线性代数无处不在。主成分分析(PCA)、奇异值分解(SVD)、矩阵的特征分解、LU 分解、QR 分解、对称矩阵、正交化和正交归一化、矩阵运算、投影、特征值和特征向量、向量空间和范数(Norms),这些都是理解机器学习中所使用的优化方法所需要的。
|
概率和统计 |
机器学习和统计学并不是迥然不同的领域。事实上,最近就有人将机器学习定义为「在机器上做统计」。机器学习需要的一些概率和统计理论分别是:组合、概率规则和公理、贝叶斯定理、随机变量、方差和期望、条件和联合分布、标准分布(伯努利、二项式、多项式、均匀和高斯)、 矩母函数 (Moment Generating Functions)、最大似然估计(MLE)、先验和后验、最大后验估计(MAP)和抽样方法。
|
多元微积分 |
一些必要的主题包括微分和积分、偏微分、向量值函数、方向梯度、海森、雅可比、拉普拉斯、拉格朗日分布。
|
算法和复杂优化 |
这对理解机器学习算法的计算效率和可扩展性以及利用数据集中稀疏性很重要。需要的知识有数据结构(二叉树、散列、堆、栈等)、动态规划、随机和子线性算法、图论、梯度/随机下降和原始对偶方法。
|
其他 |
包括以上四个主要领域没有涵盖的数学主题。它们是实数和复数分析(集合和序列、拓扑学、度量空间、单值连续函数、极限)、信息论(熵和信息增益)、函数空间和流形学习。
|
学习建议 |
建议如果能多去听听网络上的在线课堂要比自己学习要省事的多,而且当掌握一个知识点后最好去马上找到这个知识点的应用范围,去把学到的知识用实际问题去验证一下,看看到底是否真的掌握了,是否真的达到了可以运用的级别。
|
数学知识点汇总[1]
| |
矩阵与方程组
行列式
向量空间
线性变换
正交性
特征值
数值线性代数
|
我看着天书般的培训资料不由得露出了苦笑,和我一样只剩下茫然表情的还有高维,我都怀疑,我能否通过试用期了,李里接着讲到:我们做机器学习开发的人来说,学数学主要是去了解各种算法的思路,不是要去做数学研究,比如,汽车跑的路途与油耗是有线性对应关系,但在实际情况中路途的的长短和总油耗不是成比例变化的,其受多方面影响,如我们对一辆车经过多种路测得到油耗对应值如下, 跑10公里需要1L,20公里需要1.8L,30公里需要2.2L,40公里需要3.0L,那么我们是否可以通过计算得到该车的百公里油耗呢?通过线性方程式很难得到这样一个解的,所以需要根据现有的数据去做一个概率计算来推测出百公里油耗,这个用数学公式去解概率值的过程也就是机器学习的过程,我今天给大家讲解的都是机器学习中最经常用到的几个数学知识点。
PPT 页10
李里:这里我用实例来解释先验概率,如清明节当天下雨的概率从历史上统计出来时88%,这个就是先验概率,后验概率指今天下雨了,那今天是清明节的概率是多少,最大似然与后验概率有类似之处,假定决定下雨这个结果里面必须有今天是清明节这个属性,最大似然去计算今天是清明节这个属性的对下雨的影响的权重。
PPT 页11
李里:对于初学者,你们如果发现这个集合里面的数可以通过手指头去数出来那么就是离散型的,不可数的就是连续型的。
PPT 页12
李里:我们将数据集都做可视化处理后,来理解一下典型离散型数据集分布的特点,可以看到PPT页12中的图表描述了一个时间段内下午2点的到晚上10点,每个时间监测段内某景区的人流密度,这个密度柱状图是通过计算该时间段内景区中游客的个数累加出来的。
PPT 页13
李里:很多人对正态这个名词给迷惑了,其实是英文normal这个单词翻译过来的,我们称其为最常见的分布即可,根据中心极限定理,如果一个事物受到多种因素的影响,不管每个因素本身是如何分布进行汇总后,结果都总是趋向于平均值,就是正态分布。举例来说,人的身高既有先天因素如基因,也有后天因素如营养,打蓝球。每一种因素对身高的影响都是一个统计量,不管这些统计量本身是什么分布,最终人的平均身高都是趋向于平均身高并符合正态分布。许多事物都受到多种因素的影响,这导致了正态分布的是最常见的分布形式。
PPT 页14
李里:矩估计与最大似然估计都是用数据来反推模型中未知参数的,也就是点估计。什么是点估计呢,我们假设某一随机变量符合已知分布,同时又获得了这一随机变量在多次验证中的取值,现在想知道这个模型中具体的参数是什么,那我们可以通过PPT页14提供的两种方法,利用样本数据来推测模型中的参数,从而得到模型。其中样本矩是样本的数字特征,用以模拟总体数字特征构造,样本矩主要包括样本均值、未修正样本方差、样本(修正)方差、样本k阶原点矩和样本k阶中心距。而最大似然估计的思想十分简单,当参数是多少的时候,最有可能得到符合预期的结果?
PPT 页15
李里:协方差,相关系数都是描述两个随机变量之间具有什么样的关系,关系又分为正相关关系和负相关关系,比如对于股票价格购买该股票的人多股票价格上升,购买的人减少股票价格下跌,股票的价格始终和购买股票的人数变化方向一致,我们称股票价格与购买人数是正相关关系。行驶里程和剩余油量则是负相关,行驶里程越长,剩余油量则越少。而相关系数则通过方向上的差异来描述变量间的相似程度。比如同样给三样产品打分,第一个人打了10分,8分,9分,第二人打了4分,2分,3分,第三人打了8分,10分,9分,根据相关系数的计算第一个人和第二个人打分的方向相似性更接近,只是他们心目中的满分标准不一样而已。这样我们可以认为第一个人和第二个人有更相似的产品推荐度。
PPT 页16
李里:特征值与特征向量是比较难理解的,你们可以这么理解寻找一个新的坐标系去表示你原来的函数,特征向量就是新的坐标系的坐标轴,特征值就是坐标轴对应的坐标。
这时李里看了看表已经晚上快7点了,说:今天讲的比较快和简单,你们都是刚离开校园的,基本的数学知识也应该那么快都忘干净的,如果理解不了的知识请回去拿起课本,下面会给你们三天的时间,把你们对于人工智能的看法和机器学习的认识都写一下,会有评审的。
我莫名的惊诧,这就结束基础理论培训了,后三天要自己学习么?还要写总结,我还什么都没有搞清楚呢,创业小公司真是讲究效率啊。但要求就是要求,剩下的三天里就有有份总结出来。
[1] 参考www.shareditor.com与线性代数(原书第9版),史蒂文 J.利昂 (Steven J.Leon)(作者)