本文介绍了机器学习中的参数方法和非参数方法，其中参数方法通过假定模型分布并估计参数进行建模，而非参数方法则直接基于训练数据进行预测。文章探讨了贝叶斯学派和非贝叶斯学派在处理先验知识上的差异，并提及贝叶斯决策理论。同时，提到了关联规则及其度量，如支持度、置信度和提升度。最后，讨论了参数估计的泛化误差，包括方差和偏倚在欠训练和过训练情况下的影响。
参数方法和非参数方法
机器学习上的方法分为参数方法(根据先验知识假定模型服从某种分布，然后利用训练集估计出模型参数，也就弄清楚了整个模型，例如感知器)和非参数方法(基于记忆训练集，然后根据训练集预测，例如kNN)。
参数方法
参数方法根据先验知识假定模型服从某种分布，然后利用训练集估计出模型参数，也就弄清楚了整个模型。
那么，估计模型参数到底是一个客观存在的参数还是一个概率密度分布，这个分歧就引出了贝叶斯学派和非贝叶斯学派的不同之处。
非贝叶斯学派
非贝叶斯学派认为先验知识是指一组数据服从某个分布，那么分布的参数是客观存在的，可以利用数据做出估计，进而获得后验估计。典型代表方法是最大似然估计。
贝叶斯学派
贝叶斯学派认为，先验知识是数据服从某个分布和这个分布参数的先验概率密度，模型的参数本来就是一个概率分布，数据集可以获得参数的后验概率密度，进而获得后验估计。这种方法称为贝叶斯估计。
我学概率统计课程的时候对贝叶斯估计比价陌生，最近准备详细推导几个例题加深理解。对于贝叶斯估计，纸上得来终觉浅，还是推导几个例题较好。
贝叶斯决策理论
关于贝叶斯决策理论我之前学习学到过，博客里也总结过最小化期望风险的思想。
下面总结一下关联规则的一些度量。
关联规则
s u p p o r t ( X , Y ) = P ( X , Y ) support(X,Y)=P(X,Y) support(X,Y)=P(X,Y)
最低0.47元/天 解锁文章
1436
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
