关联分析规则---Apriori算法的理解和使用

apriori:算法(无监督学习)

  • 应用场景:

    • 1.啤酒、尿不湿;2.大量数据中(购物小票)找到经常在一起出现的物品组合
    • 3.库存管理(摆放);4.促销页面设计;5.捆绑销售;6.内容推荐
  • 相关概念

    • 1.支持度support:物品或物品组合,在所有数据中出现的概率

      • 公式:计算同时购买AB的支持度:support(A&B) = 同时购买AB的订单数量/总的订单数量=n(A&B)/n
    • 2.置信度confidence:购买A的订单中同时购买了B的订单数量/购买A的订单数量,就称为A对B的置信度

      • 公式:confidence(A->B)=P(B|A)=P(B&A)/P(A)= (n(A&B)/n)/(n(A)/n)= n(A&B)/n(A)
      • 相当于条件概率的计算P(B|A)=同时出现AB的概率/出现A的概率
      • 注意:A对B的置信度,与B对A的置信度不是一个概念
    • 3.提升度lift:应用关联规则与不应用产生结果的比例;

      • 公式:lift(A->B)= 对购买A的人运用规则计算会去买B的数量比例 / 不考虑是否购买A计算购买B的数量比例 = confidence(A->B) / support(B) = P(B&A)/P(A) / P(B) = n(A&B)/n(A) / (n(B)/n) = n(A&B)*n/n(A)/n(B) (这就是A对B的提升度,从公式很快得出,A对B的提升度与B对A的提升度相等
      • 如果lift>1,说明关联规则有效果,但在实际运用中,我们认为提升度>3才算作值得认可的关联规则
      • 如果lift=1,说明没有任何意义,A与B相互独立,互不影响;
      • 如果lift<1,说明有反作用,买了A就不愿意买B;
  • 举例说明: 20个人,5个人买了面包+牛奶,3个人只买了面包,7个人只买了牛奶,还有5个人只买了鸡蛋

    • 同时购买 面包+牛奶 的支持度support = 5/20=0.25 >0.1(满足支持度阈值>0.1)
    • 购买面包 对 购买牛奶 的置信度confidence = 5/(5+3)=5/8 >0.5(满足置信度阈值>0.5)
    • 购买牛奶 对 购买面包 的置信度confidence = 5/(5+7)=5/12 <0.5(不满足置信度阈值>0.5)
    • 同时购买:面包+牛奶 的提升度lift = 5*20/((5+3)(5+7))=100/8/12>1
  • 补充说明:为什么在实际运用中,我们认为提升度>3才算作值得认可的关联规则

    • 当n中零事件由5变为35时,此时同时购买面包+牛奶 的支持度support = 5/49=0.102 >0.1(刚刚满足支持度阈值>0.1),此时计算提升度为:lift = 5*49/((5+3)(5+7))=245/8/12=2.55>1,有关联
    • 当n中零事件由5变为0时,此时同时购买面包+牛奶 的支持度support = 5/15=0.33 >0.1(满足支持度阈值>0.1),此时计算提升度为:lift = 5*15/((5+3)(5+7))=75/8/12=0.78<1,互斥
    • 结论:
      • 根据补充说明中的情况,在满足支持度>0.1的情况下,零事件数量的改变对提升度的影响,从0.78提升到了2.55,n中零事件越多,提升度的值越大
      • 所以,在实际运用中,我们一般定义支持度>0.1的情况下,认为提升度>3才算作值得认可的关联规则
apriori原理
  • apriori原理:如果某个项集是频繁项集,那么它所有的子集也是频繁的。即如果 {0,1} 是频繁的,那么 {0}, {1} 也一定是频繁的;;这个原理直观上没有什么用,但是反过来看就有用了,该定理的逆反定理为 :如果一个项集是非频繁的,那么它的所有超集(包含该集合的集合)也是非频繁的;;Apriori原理的出现,可以在得知某些项集是非频繁之后,不需要计算该集合的超集,有效地避免项集数目的指数增长,从而在合理时间内计算出频繁项集。
  • 使用Apriori算法发现数据的(频繁项集、关联规则)
    • 频繁项集:经常出现在一块的物品的集合
    • 关联规则:暗示两种物品之间可能存在很强的关系
    • Apriori具体算法实现网上查,直接使用其接口即可Apriori
    • pip install akapriori
    • 使用: from akapriori import apriori
    • rules = apriori(order_records, support=0.1, confidence=0.5, lift=0,minlen=0, maxlen=5)
    • 返回 5个值:rules_all = pd.DataFrame(rules, columns=[‘item1’,‘item2’,‘support’,‘confidence’,‘lift’])

代码实现

import pandas as pd
import apriori

# 加载数据文件
data = pd.read_csv('order_table.csv')

# 转换成关联所用的记录模式
order_ids = pd.unique(data['order_id'])  # 去重得到订单id
# 将相同id的产品名称拼接到一个子列表中,再将这些id对应的子列表拼到一个列表中
order_records = [data[data['order_id']==each_id]['product_name'].tolist() for each_id in 
                order_ids]
# 通过调用自定义的apriori做关联分析
minS = 0.1 # 定义最小支持度阈值
minC = 0.5 # 定义最小置信度阈值
# 计算得到满足最小支持度的规则
L, suppData = apriori.apriori(order_records, minSupport=minS)
# 计算满足最小置信度的规则
rules = apriori.generateRules(order_records, L, suppData, minConf=minC)
# 关联结果报表评价
# 展示数据集记录数和满足阈值定义的规则数量
model_summary = 'data record: {1} \ nassociation rules count: {0}'
print(model_summary.format(len(rules), len(order_records)), '\n','-'*60) # 使用str.format()输出
# 创建频繁规则数据集
rules_all = pd.DataFrame(rules, 
                         columns=['item1','item2','instance','support','confidence','lift'])
rules_sort = rules_all.sort_values(['lift'], ascending=False)
rules_sort.head(10)
  • 3
    点赞
  • 12
    收藏
    觉得还不错? 一键收藏
  • 1
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值