Apriori算法: 布尔关联规则的挖掘

$\text{1. }$一些基本概念

1️⃣频繁项集

1. 定义：$X$频繁$\stackrel{等价于}{\iff }$事务集$D$中含$X$的$T_i$数量($X$支持度)超过阈值$\stackrel{等价于}{\iff }X$满足最小支持度
2. 性质：
   • 如果$X$频繁$\text{→}X$的子集也一定频繁(向下封闭)
   • 如果$X$非频繁$\text{→}X$的超集(如 { X , x n + 1 , x n + 2 , . . . } \{X,x_{n+1},x_{n+2},...\} {X,xn+1​,xn+2​,...})也一定非频繁

2️⃣闭合集$\&$最大集：为解决组合爆炸($规则数目\text{ ∝ }{2}^{数据集规模}$)问题

1. 定义：对于事务集$D$

   集合	含义	意义
   闭合集(模式)	$X$闭合$\stackrel{等价于}{\iff }X$频繁$\text{∩}X$所有超集的支持度小于$X$的	$D$无损压缩
   最大集(模式)	$X$最大$\stackrel{等价于}{\iff }X$频繁$\text{∩}X$所有超集都非频繁	$D$有损压缩

2. 示例： D = { A 1 = ⟨ a 1 , a 2 , … , a 100 ⟩ , A 2 = ⟨ a 1 , a 2 , … , a 50 ⟩ } D\text{=}\left\{A_1\text{=}\left\langle a_1, a_2, \ldots, a_{100}\right\rangle,A_2\text{=}\left\langle a_1, a_2, \ldots, a_{50}\right\rangle\right\} D={A1​=⟨a1​,a2​,…,a100​⟩,A2​=⟨a1​,a2​,…,a50​⟩}，最小支持度$\text{=1}$

   集合	$\text{Item}$
   闭合模式	$A_1$(支持度$\text{=1}/$无频繁超集)，$A_2$(支持度$\text{=2/}$频繁超集支持度$\text{=2}$)
   最大模式	$A_1$(支持度$\text{=1}/$无频繁超集)
   所有模式	所有的频繁子集，比如$⟨a_1,\dots ,a_{49}⟩$

$\text{2.}$ $\text{Apriori}$算法

0️⃣总论

1. 原有方案：原始数据$\stackrel{(暴力)生成}{\to }$关联规则
2. 现有方案：原始数据$\stackrel{\text{Apriori}算法}{\to }$频繁项集$\stackrel{生成}{\to }$关联规则

1️⃣算法流程：原始数据$\stackrel{\text{Apriori}算法}{\to }$频繁项集

1. 初始化：事务$D\stackrel{清洗}{\to }$单项 { { T 1 } , { T 2 } , . . . , { T n } } → 满足最小支持度 \small\{\{\mathrm{T_1}\}, \{\mathrm{T_2}\},..., \{\mathrm{T_n}\}\}\xrightarrow{满足最小支持度} {{T1​},{T2​},...,{Tn​}}满足最小支持度 ​ L 1 = { { T i 1 } , { T i 2 } , . . . , { T i m } } L_1\text{=}\small\{\{\mathrm{T_{i_1}}\}, \{\mathrm{T_{i_2}}\},..., \{\mathrm{T_{i_m}}\}\} L1​={{Ti1​​},{Ti2​​},...,{Tim​​}}
2. 主循环：候选集$L_1\stackrel{执行以下操作}{\to }$候选集$L_2$ (下一轮循环)
   • 组合：本轮频繁项集$L_1\underset{(具体见例子)}{\overset{两两组合}{\to }}$候选项集$C_2$
   • 剪枝：候选项集$C_2\stackrel{去处有非频繁子集的项}{\to }$下一候频繁集$L_2$，以进行下轮以此循环
3. 输出：当循环到$L_{\alpha }$为空集时停止循环，频繁项集 L = { L 1 ∪ L 2 ∪ . . . ∪ L α } L\text{=}\{L_1\text{∪}L_2\text{∪}...\text{∪}L_\alpha\} L={L1​∪L2​∪...∪Lα​}

2️⃣频繁项集$\stackrel{生成}{\to }$关联规则

1. 基本流程：
   • 子集：频繁项集$L$所有非空子集 S = { S 1 , S 2 , . . . , S 2 ∣ L ∣ − 2 } S\text{=}\{S_1,S_2,...,S_{2^{|L|}-2}\} S={S1​,S2​,...,S2∣L∣−2​}，任意$S_i\text{→}{S}_j$组合满足支持度
   • 规则：对每个子集计算$S_i\text{→}L\backslash S_i$的置信度，若小于阈值则视$S_i\text{→}L\backslash S_i$强相关
2. 效率优化：
   • 原理：对$(X\text{→}L\text{-}X)$置信度不满足阈值$\stackrel{X^{\prime }\text{⊆}X}{\to }(X^{\prime }\text{→}L\text{-}{X}^{\prime })$也不满足
   • 优化：先验证$L\text{-}X$只有单一项的规则，若不满足则剪枝/满足则再去验证$L\text{-}X$多项的规则

$\text{3.}$ $\text{Apriori}$算法示例

0️⃣基本条件：事务及其项集如下表，设定最小支持度为$2$

$\text{T}$	$\text{Beer}$	$\text{Diap.}$	$\text{Powd}$	$\text{Bread}$	$\text{Umbre.}$	$\text{Milk}$	$\text{Deter.}$	$\text{Cola}$
$1$	✅	✅	✅	✅	✅	❌	❌	❌
$2$	❌	✅	✅	❌	❌	❌	❌	❌
$3$	✅	✅	❌	❌	❌	✅	❌	❌
$4$	✅	✅	❌	❌	❌	❌	✅	❌
$5$	✅	❌	❌	❌	❌	✅	❌	✅

1️⃣$\text{Apriori}$算法：得到频繁项集

1. 初始化： L 1 ⇐ 出现超过两次的商品 { Beer,Diap,Powd,Milk } L_1\xLeftarrow{出现超过两次的商品}\{\small\text{Beer,Diap,Powd,Milk}\} L1​出现超过两次的商品 ​{Beer,Diap,Powd,Milk}
2. 主循环：当前为$L_1$
   • 组合：$L_1\stackrel{\text{简单两两组合}}{\to }{C}_2\text{=}\left\{\left[\begin{array}{c}\text{Beer}\\ \text{Diap}\end{array}\right],\cancel{\left[\begin{array}{c}\text{Beer}\\ \text{Powd}\end{array}\right]},\left[\begin{array}{c}\text{Beer}\\ \text{Milk}\end{array}\right],\left[\begin{array}{c}\text{Diap}\\ \text{Powd}\end{array}\right],\cancel{\left[\begin{array}{c}\text{Diap}\\ \text{Milk}\end{array}\right]},\cancel{\left[\begin{array}{c}\text{Powd}\\ \text{Milk}\end{array}\right]}\right\}$
   • 剪枝：$C_2\stackrel{剪掉包含非频繁子集的}{\to }{L}_2\text{=}\left\{\left[\begin{array}{c}\text{Beer}\\ \text{Diap}\end{array}\right],\left[\begin{array}{c}\text{Beer}\\ \text{Milk}\end{array}\right],\left[\begin{array}{c}\text{Diap}\\ \text{Powd}\end{array}\right]\right\}$
3. 主循环：当前为$L_2$
   • 组合：$L_2\underset{组合逻辑见下表}{\overset{\text{两两组合}}{\to }}{C}_3\text{=}\left\{\cancel{\left[\begin{array}{c}\text{Beer}\\ \text{Diap}\\ \text{Milk}\end{array}\right]},\cancel{\left[\begin{array}{c}\text{Beer}\\ \text{Diap}\\ \text{Powd}\end{array}\right]}\right\}$

     合并的集	条件: 二者有$k\text{-1}$项(此处为$1$)相等	操作
     $L_2[1]/L_2[2]$	共有$\text{Beer}\text{→}$满足	执行组合
     $L_2[1]/L_2[3]$	共有$\text{Diap}\text{→}$满足	执行组合
     $L_2[2]/L_2[3]$	不满足	不执行组合

   • 剪枝：$C_2\stackrel{剪掉包含非频繁子集的}{\to }{L}_3\text{=}\varnothing$，故终止循环
4. 输出：$L\text{=}{L}_1\text{∪}{L}_2\text{=}\left\{\text{Beer},\text{Diap},\text{Powd},\text{Milk},\left[\begin{array}{c}\text{Beer}\\ \text{Diap}\end{array}\right],\left[\begin{array}{c}\text{Beer}\\ \text{Milk}\end{array}\right],\left[\begin{array}{c}\text{Diap}\\ \text{Powd}\end{array}\right]\right\}$
   2️⃣生成规则$\text{→ }\begin{array}{cccc}\text{Item}& \text{Support(A,B)}& \text{Support A}& \text{Confidence}\\ \text{Beer}\to \text{Diaper}& 60\%& 80\%& 75\%\\ \text{Beer}\to \text{Milk}& 40\%& 80\%& 50\%\\ \text{Diaper}\to \text{Powd}& 40\%& 80\%& 50\%\\ \text{Diaper}\to \text{Beer}& 60\%& 80\%& 75\%\\ \text{Milk}\to \text{Beer}& 40\%& 40\%& 100\%\\ \text{Powd}\to \text{Diaper}& 40\%& 40\%& 100\%\end{array}\text{ etc.....}$