参数方法和非参数方法
机器学习上的方法分为参数方法(根据先验知识假定模型服从某种分布,然后利用训练集估计出模型参数,也就弄清楚了整个模型,例如感知器)和非参数方法(基于记忆训练集,然后根据训练集预测,例如kNN)。
参数方法
参数方法根据先验知识假定模型服从某种分布,然后利用训练集估计出模型参数,也就弄清楚了整个模型。
那么,估计模型参数到底是一个客观存在的参数还是一个概率密度分布,这个分歧就引出了贝叶斯学派和非贝叶斯学派的不同之处。
非贝叶斯学派
非贝叶斯学派认为先验知识是指一组数据服从某个分布,那么分布的参数是客观存在的,可以利用数据做出估计,进而获得后验估计。典型代表方法是最大似然估计。
贝叶斯学派
贝叶斯学派认为,先验知识是数据服从某个分布和这个分布参数的先验概率密度,模型的参数本来就是一个概率分布,数据集可以获得参数的后验概率密度,进而获得后验估计。这种方法称为贝叶斯估计。
我学概率统计课程的时候对贝叶斯估计比价陌生,最近准备详细推导几个例题加深理解。对于贝叶斯估计,纸上得来终觉浅,还是推导几个例题较好。
贝叶斯决策理论
关于贝叶斯决策理论我之前学习学到过,博客里也总结过最小化期望风险的思想。
下面总结一下关联规则的一些度量。
关联规则
s u p p o r t ( X , Y ) = P ( X , Y ) support(X,Y)=P(X,Y) support(X,Y)=P(X,Y)