频率学派和贝叶斯学派(含有一些MAP与MLE）

由于贝叶斯学派引入了先验概率，因此可以通过经验把预测结果不断向正确值调整靠近
因此：在样本比较少的时候bayes估计很占优势

频率学派：事件本身是服从某种分布的，这种分布的参数是固定的，频率即概率，在极限情况下（数据量足够多）的情况下，频率可以近似看做概率，且概率是不变的，事件A在n次独立重复试验中发生的频率趋于极限p，那么此时频率可以看做该事件的概率。
贝叶斯学派：我们无法确定这些参数(服从某种分布的)，因此我们需要关心的是参数空间中的每一个值，我们假设这些参数值是符合某种分布的（先验假设），然后根据这个假设去做实验，不断调整我们的假设，得到最后结果（后验概率分布）。
在频率学观点中，w被当做是一个确定的参数，这个参数由某种形式的估计来确定，这个估计是基于可能数据集的分布来获得。而在贝叶斯观点中，参数的情况来自于一个对w的分布建模。

注意：对于贝叶斯学派，一个合理的先验概率假设是很重要的。（通常，先验概率能从数据中直接分析得到）
贝叶斯观点的优势在于在模型中包含先验的知识是很自然的。例如在抛硬币的试验中，如果抛三次硬币出现了三次都是正面，那么根据频率学的观点，使用最大似然进行估计那么得到出现正面的可能性为1，这就是说以后都是以1的概率出现正面。相反在贝叶斯的理论中，引入一个合理的先验将会避免这样极端的结论。然而在实际的应用中，对贝叶斯理论应用有一个很大的批评，就是说通常先验的选择是基于数学理论方便性来进行选择，而不是反应任何的先验信念。

转载一句话：
打麻将过程中，如果只按照出在桌面上的牌的情况来确定自己出什么牌的就是频率学派；而如果是考虑牌由谁打出来的基础上，考虑桌面上牌的情况，那么我们就可以理解为贝叶斯学派

可以这样理解：
频率学派建立在数据之上，他认为数据服从P(x,y)是固定的参数，目的就是找出来这个参数就行。采用似然方法用已知样本数据来进行参数预测（似然估计），注重数据，用数据说话，常用MLE
贝叶斯学派建立在先验概率之上，参数是不固定的，需要不断进行调整，注重先验概率，常用MAP

（MAP就是多个作为因子的先验概率P(θ)。或者，也可以反过来，认为MLE是把先验概率P(θ)认为等于1，即认为θ是均匀分布。）

PS:参数θ的似然函数L(θ|x)（在数值上）等于给定参数θ后变量X的概率：L(θ|x)=P(X=x|θ)
注意：这里P(X=x|θ)就是根据实际数据来计算的
MLE是最大化似然函数 MAX L(θ|x)=Max 连乘P(X=x|θ)
MAP是最大化似然函数×先验概率 Max 连乘P(X=x|θ)×P(θ)
经验风险最小化可以对应极大似然估计
结构风险最小化可以对应最大后验概率估计（家的那个惩罚项就是取Ln之后连乘的P(θ)变成连加的LnP(θ)

看到一篇文章写道：