基于Python的机器学习实战——Apriori

最新推荐文章于 2023-05-25 02:48:46 发布

VIP文章程序员老华

最新推荐文章于 2023-05-25 02:48:46 发布

阅读量408

点赞数

文章标签： python 开发语言机器学习深度学习人工智能

本文链接：https://blog.csdn.net/m0_72557783/article/details/128162915

版权

1.关联分析

关联分析是一种在大规模数据集中寻找有趣关系的任务。这种关系表现为两种形式：

1.频繁项集(frequency item sets)：经常同时出现的一些元素的集合；

2.关联规则(association rules): 意味着两种元素之间存在很强的关系。

下面举例来说明上面的两个概念：

**表1 一个来自Hole Foods天食品店的简单交易清单**
交易号码	商品
0	豆奶，莴苣
1	莴苣，尿布，葡萄酒，甜菜
2	莴苣，尿布，葡萄酒，橙汁
3	莴苣，豆奶，尿布，葡萄酒
4	莴苣，豆奶，尿布，橙汁

频繁项集是指经常出现在一起的元素的集合，上表中的集合 {葡萄酒，尿布，豆奶} 就是频繁项集的一个例子。同样可以找到如 “尿布 --> 葡萄酒”的关联规则，意味着如果有人买了尿布，就很可能也会买葡萄酒。使用频繁项集和关联规则，商家可以更好地理解顾客的消费行为，所以大部分关联规则分析示例来自零售业。

理解关联分析首先需要搞清楚下面三个问题：

1.如何定义这些有用的关系？

2.这些关系的强弱程度又是如何定义？

3.频繁的定义是什么？

要回答上面的问题，最重要的是理解两个概念：支持度和可信度。

支持度：一个项集的支持度(support)被定义为数据集中包含该项集的记录占总记录的比例。从表1 可以看出项集 {豆奶} 的支持度为 4/54/5; 而在 5 条交易记录中 3 条包含 {豆奶，尿布}，因此 {豆奶，尿布} 的支持度为 3/53/5.

可信度或置信度(confidence)：是针对一条诸如尿布−−>葡萄酒尿布−−>葡萄酒的关联规则来定义的，这条规则的可信度被定义为“ 支持度({尿布,葡萄酒}) / 支持度({尿布})”。在表1 中可以发现 {尿布,葡萄酒} 的支持度是 3/53/5, {尿布} 的支持度为 4/54/5, 所以关联规则 “尿布 --> 葡萄酒”的可信度为 3/4=0.753/4=0.75, 意思是对于所有包含 "尿布"的记录中，该关联规则对其中的 75% 记录都适用。

2. Apriori 原理

假设经营了一家杂货店，于是我们对那些经常在一起购买的商品非常感兴趣。假设我们只有 4 种商品：商品0，商品1，商品 2，商品3. 那么如何得可能被一起购买的商品的组合？

上图显示了物品之间所有可能的组合，从上往下一个集合是 ØØ，表示不包含任何物品的空集，物品集合之间的连线表明两个或者更多集合可以组合形成一个更大的集合。

　　我们的目标是找到经常在一起购买的物品集合。这里使用集合的支持度来度量其出现的频率。一个集合出现的支持度是指有多少比例的交易记录包含该集合。例如，对于上图，要计算 0,30,3 的支持度，直接的想法是遍历每条记录，统计包含有 00 和 33 的记录的数量，使用该数量除以总记录数，就可以得到支持度。而这只是针对单个集合 0,30,3. 要获得每种可能集合的支持度就需要多次重复上述过程。对于上图，虽然仅有4中物品，也需要遍历数据15次。随着物品数目的增加，遍历次数会急剧增加，对于包含 NN 种物品的数据集共有 2N−12N−1 种项集组合。所以即使只出售 100100 种商品的商店也会有 1.26×10301.26×1030 中可能的组合。计算量太大。

　　为了降低计算时间，研究人员发现了 AprioriApriori 原理，可以帮我们减少感兴趣的频繁项集的数目。