概率论和数理统计是机器学习重要的数学基础。
概率论的核心是已知分布求概率,数理统计则是已知样本估整体。
概率论和数理统计是互逆的过程。概率论可以看成是由因推果,数理统计则是由果溯因。
数理统计最常见的问题包括参数估计,假设检验和回归分析。
所谓参数估计,就是已知随机变量服从某个分布规律,但是概率分布函数的有些参数未知,那么可以通过随机变量的采样样本来估计相应参数。
参数估计最主要的方法包括矩估计法,极大似然估计法,以及贝叶斯估计法。
机器学习中常常使用的是极大似然估计法和贝叶斯估计法。
一,矩估计法
矩估计的基本思想是用样本的k阶矩作为总体的k阶矩的估计量,从而解出未知参数。
例如
对
试估计参数
解:用样本的一阶距估计总体的一阶距,用样本的二阶中心距估计总体的二阶中心距。
可以得到:
对
无偏估计是
二,极大似然估计法
极大似然估计法简称MLE(Maximum Likelihood Estimation).
极大似然估计法先代入参数值计算观测样本发生的概率,得到似然函数,然后对似然函数求极大值,得到对应的参数,即为极大似然估计参数。
对于离散随机变量X,N次采样得到样本结果为
对于连续随机变量X,如果其概率密度函数为
那么N次采样得到样本结果为
为了便于计算方便,可以构造对数似然函数为
对数似然函数取极大值时,有
求解该方程可以得到
例如
对
试估计参数
解:
正态分布的概率密度函数为
对应的对数似然函数为
对数似然函数取极大值时,有
解得
三,贝叶斯估计法
贝叶斯估计也叫做最大后验概率估计法,简称MAP(Maximum A Posterior)。
可以认为极大似然估计是贝叶斯估计不考虑先验概率的特例。
在概率论中有两大学派,频率学派和贝叶斯学派。
频率学派认为随机变量服从特定的统计分布规律,分布函数的参数是确定的数,可以通过抽样来估计。
和频率学派不同,贝叶斯学派认为一切皆为随机变量,随机变量的分布函数的参数也是随机变量,对其进行抽样估计时还必须考虑参数的先验分布。
在贝叶斯学派中,似然函数被理解为
而
贝叶斯估计的想法是最大化
当不考虑先验概率
由于在实践中,先验概率
在机器学习中,有一种和引入先验概率等效的做法,那就是在目标函数(相当于对数似然函数)后面加入正则化项。
如果加入的是L1正则化,相当于假设了参数的先验分布符合双指数分布,而如果引入了L2正则化,相当于假设了参数的先验分布符合正态分布。
在机器学习中,经验风险最小化和极大似然估计对应,结构风险最小化和贝叶斯估计对应。