参数方法和非参数方法

版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/PKU_ZZY/article/details/74279787

参数方法和非参数方法

  机器学习上的方法分为参数方法(根据先验知识假定模型服从某种分布,然后利用训练集估计出模型参数,也就弄清楚了整个模型,例如感知器)和非参数方法(基于记忆训练集,然后根据训练集预测,例如kNN)。

参数方法

  参数方法根据先验知识假定模型服从某种分布,然后利用训练集估计出模型参数,也就弄清楚了整个模型。
  那么,估计模型参数到底是一个客观存在的参数还是一个概率密度分布,这个分歧就引出了贝叶斯学派和非贝叶斯学派的不同之处。

非贝叶斯学派

  非贝叶斯学派认为先验知识是指一组数据服从某个分布,那么分布的参数是客观存在的,可以利用数据做出估计,进而获得后验估计。典型代表方法是最大似然估计。

贝叶斯学派

  贝叶斯学派认为,先验知识是数据服从某个分布和这个分布参数的先验概率密度,模型的参数本来就是一个概率分布,数据集可以获得参数的后验概率密度,进而获得后验估计。这种方法称为贝叶斯估计。
  
  我学概率统计课程的时候对贝叶斯估计比价陌生,最近准备详细推导几个例题加深理解。对于贝叶斯估计,纸上得来终觉浅,还是推导几个例题较好。

贝叶斯决策理论

  关于贝叶斯决策理论我之前学习学到过,博客里也总结过最小化期望风险的思想。

  下面总结一下关联规则的一些度量。

关联规则

  support(X,Y)=P(X,Y)
  confidence(XY)=P(X|Y)
  lift(XY)=P(X,Y)P(X)P(Y)

参数估计的泛化误差

  泛化误差由方差和偏倚组成。
  
  E(dθ)2=E((dEd)+(Edθ))2=Var(d)+(Edθ)2

  欠训练时,方差小,偏倚大,欠拟合。
  过训练时,方差大,偏倚小,过拟合。

展开阅读全文

没有更多推荐了,返回首页