【大数据分析与挖掘算法】matlab实现——Apriori关联规则算法

最新推荐文章于 2024-09-04 15:34:29 发布
最新推荐文章于 2024-09-04 15:34:29 发布
阅读量183 收藏 2
点赞数 7
分类专栏： 大数据分析与挖掘算法 文章标签： 数据分析 算法 matlab
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_37293468/article/details/141895316
版权

实验一 ：Apriori关联规则算法

一、实验目的

掌握有关Apriori关联规则算法的理论知识，从中了解关联规则的数学模型、基本思想、方法及应用。

二、实验任务

根据某超市的五条客户购物清单记录，使用Apriori关联规则算法进行计算，实例如下：

三、实验过程

1.关联规则概念介绍：

2.关联规则算法流程：

3.计算过程：

四、实验结果

实现平台：Matlab 2022A

实验代码：

% 清除命令窗口、工作区和所有图形
clear; clc; close all;

% 参数
goods = {'C,J,B,O,S'; 'J,S'; 'C,M,S'; 'C,W,S'; 'C,B,M'}; % 商品列表
min_sup = 0.4; % 最小支持度


%% Step 1: 寻找频繁1项集

% 1.获取所有项
all_items = []; % 存储所有的项
% （1）遍历每个交易记录，将商品拆分为单个项并去重
for i = 1:numel(goods)
items = strsplit(goods{i}, ',');
all_items = [all_items, items];
end
% （2）去重并排序
all_items = unique(all_items);
% % 测试
% disp('所有项：');
% disp(all_items);

% 2.计算每一项的支持度
support_data = struct(); % 存储支持度数据

for i = 1:numel(all_items)
item = all_items{i};
count = 0;

% 计算支持度
support = calculate_support(item, goods);

% 如果支持度满足阈值，则加入频繁1项集
if support >= min_sup
support_data.(item) = support;
end
end

% % 测试 显示频繁1项集和支持度
% disp('频繁1项集及其支持度：');
% disp(support_data);

%% 循环Step 2、Step 3: 寻找最终的频繁K项集
candidate_items = fieldnames(support_data); % 初始化候选项集 
frequent_itemsets = fieldnames(support_data);% 初始化频繁项集 

kk = 2; % 初始项集大小为2
while true
% Step 2: 生成候选K项
% k-1频繁项集 Lk_minus_1
Lk_minus_1 = frequent_itemsets(:,kk-1);
% 如果Lk_minus_1中的元素有逗号,则去掉
for i = 1:size(Lk_minus_1,1)
if ismember( ',', Lk_minus_1{i})
Lk_minus_1{i,1} = strrep(Lk_minus_1{i}, ',', '');
end
end

Ck = {}; % 用于存储预剪枝前的候选项集
% 1.排列组合
for i = 1:size(Lk_minus_1,1)
for j = i+1:size(Lk_minus_1,1)
set1 = Lk_minus_1(i);
set2 = Lk_minus_1(j);
% 检查 set2 是否为空
if isempty( set2{1,1} )
continue; % 如果为空，跳过当前循环迭代
end

% 对项集进行排序
combined_set = sort( cell2mat( {set1{1,1}, set2{1,1}} ) ); % 将单元格数组转换为字符数组
% 删除combined_set中重复的元素
combined_set = unique(combined_set, 'stable');

% 预剪枝第一部分，删除非k项集 若项集长度符合要求且不在候选项集中，则加入候选项集
if numel(combined_set) == kk && ~ismember(combined_set, Ck)
Ck{end+1,1} = combined_set;
end
end
end

% 2.预剪枝第二部分，经过“3.3.3 定理2”删除确定的非频繁k项集
Ck_pruned = {}; % 存储预剪枝后的候选项集

for i = 1:numel(Ck)
itemset = Ck{i};

% 生成项集的所有可能子集
subsets = nchoosek(itemset, numel(itemset) - 1);
%{ 
nchoosek 是 MATLAB 中的一个函数，用于生成指定集合中所有可能的 k 个元素的组合。
- 在这里，itemset 是一个项集，numel(itemset) - 1 表示生成的组合中包含的元素个数
- 比原始项集少一个，即生成项集的所有可能的大小为 k-1 的子集。
%}

% 检查项集的所有子集是否都在 Lk_minus_1 中
is_frequent = true;
for j = 1:size(subsets, 1)
temp = 0; % 临时标志
for ii = 1:length(Lk_minus_1)

% 检查 Lk_minus_1{ii} 是否为空
if isempty(Lk_minus_1{ii,1})
continue; % 如果为空，跳过当前循环迭代
end

if subsets(j,:) == Lk_minus_1{ii,1}
% 如果有任何一个子集不在 Lk_minus_1 中，则该项集不是频繁项集
temp = 1; % 说明在k-1频繁集
break;
end

end
if temp == 0
is_frequent = false; % 肯定不是频繁项集
break;
end
end

% 如果是频繁项集，则加入预剪枝后的候选项集
if is_frequent
Ck_pruned{end+1} = itemset;
end
end

% 3.填入候选项集 
for i = 1:numel(Ck_pruned)
item_temp = Ck_pruned{i};

% item_temp可能为'DE'、'ADE',需变成'D,E'、'A,D,E'
% 如果项集中包含逗号，则表示已经是单个字符的单元格数组，不需要额外处理
if contains(item_temp, ',')
item_temp = item_temp;
else
% 将字符串拆分为单个字符，并使用逗号连接成字符串
item_temp = cellstr(strjoin(cellstr(item_temp'), ','));
end
candidate_items{i,kk } = item_temp{1,1};
end

% Step 3: 由候选K项目集生成频繁K项集

% 1.遍历每个候选项集，计算其支持度，判断是否为频繁项集
m = 0; % 行数标志
for i = 1:numel(Ck_pruned)
item_temp = Ck_pruned{i};
% item_temp可能为'DE'、'ADE',需变成'D,E'、'A,D,E'
% 如果项集中包含逗号，则表示已经是单个字符的单元格数组，不需要额外处理
if contains(item_temp, ',')
item_temp = item_temp;
else
% 将字符串拆分为单个字符，并使用逗号连接成字符串
item_temp = cellstr(strjoin(cellstr(item_temp'), ','));
end
% 计算支持度
support =calculate_support(item_temp{1,1}, goods);


% 如果支持度满足阈值，则将项集添加到频繁项集中
if support >= min_sup
m = m+1; % 行数索引
frequent_itemsets{m,kk} = item_temp{1,1};
end
end

% 如果没有满足最小支持度的项集，则跳出循环
if m == 0
break;
end

% 增加项集的大小
kk = kk + 1;
end
kk = kk-1; % kk不满足时跳出循环，实际的kk需要减1

%% 循环Step 4：获得的最终的频繁K项集，之后计算规则的置信度以及提升度。

all_confidence = {}; % 最终频繁k项集下的所有置信度
all_lift = {}; % 最终频繁k项集下的所有提升度
% 循环遍历最终的频繁K项集
for ii = 1:size(frequent_itemsets, 1)
% 检查 frequent_itemsets{ii,kk} 是否为空 注：行数size(frequent_itemsets,1)必然大于最终的频繁K项集的个数
if isempty( frequent_itemsets{ii,kk} )
continue; % 如果为空，跳过当前循环迭代
end

% 获取当前频繁项集
itemset = frequent_itemsets{ii,kk};

% 生成当前频繁项集的所有真子集
subsets = generate_subsets(itemset);

% 计算所有真子集的支持度
for i = 1:size( subsets,1 )
sup_temp = calculate_support(subsets{i,1}, goods);
subsets{i,2} = sup_temp;
end

% 计算所有子集subsets_add的支持度
subsets_add = subsets;
% itemset可能为'DE'、'ADE',需变成'D,E'、'A,D,E'
% 如果项集中包含逗号，则表示已经是单个字符的单元格数组，不需要额外处理
if contains(itemset, ',')
itemset = itemset;
else
% 将字符串拆分为单个字符，并使用逗号连接成字符串
itemset = cellstr(strjoin(cellstr(itemset'), ','));
end
subsets_add{ size( subsets,1 )+1,1 } = itemset;
subsets_add{ size( subsets,1 )+1,2 } = calculate_support(itemset, goods);

% 遍历当前频繁项集的所有真子集,计算置信度以及提升度。
curent_all_confidence = {}; % 当前频繁项集下的所有置信度
curent_all_lift = {}; % 当前频繁项集下的所有提升度
for i = 1:size( subsets,1 )
for j = 1:size( subsets,1 )
if i == j
continue; % 自己和自己无法关联，跳过当前循环迭代
end

% 计算置信度
% （1）置信度的分子
set1 = subsets{i,1};
set2 = subsets{j,1};

% 检查 set2 是否为空
if isempty( set2 )
continue; % 如果为空，跳过当前循环迭代
end

% 对项集进行排序
combined_set = sort([set1,',', set2]);
% 删除combined_set中重复的元素
combined_set = unique(combined_set, 'stable');
if combined_set(1) == ',' % 测试发现","在开头
combined_set = combined_set(2:end);
end
% combined_set可能为'DE'、'ADE',需变成'D,E'、'A,D,E'
% 如果项集中包含逗号，则表示已经是单个字符的单元格数组，不需要额外处理
if contains(combined_set, ',')
combined_set = combined_set;
else
% 将字符串拆分为单个字符，并使用逗号连接成字符串
combined_set = cellstr(strjoin(cellstr(combined_set'), ','));
end
% 在 subsets_add 中查找 combined_set 对应的行
index = find( strcmp( subsets_add(:, 1), combined_set{1,1} ) );
% 获取分子对应的支持度
confidence_numerator = subsets_add{index, 2};

% 获取分母对应的支持度
index = find( strcmp( subsets_add(:, 1), set1 ) );
confidence_denominator = subsets_add{index, 2};

% 计算置信度
confidence = confidence_numerator/confidence_denominator;
% 存储置信度
if i==1
curent_all_confidence{1,1} = [set1,'=>',set2];
curent_all_confidence{1,2} = confidence;
else
curent_all_confidence{size(curent_all_confidence,1)+1,1} = [set1,'=>',set2];
curent_all_confidence{size(curent_all_confidence,1),2} = confidence;
end
% 计算提升度
% 获取提升度的分母
index = find( strcmp( subsets_add(:, 1), set2 ) );
lift_denominator = subsets_add{index, 2};
% 计算提升度
lift = confidence/lift_denominator;% 计算提升度

% 存储提升度
if i==1
curent_all_lift{1,1} = [set1,'->',set2];
curent_all_lift{1,2} = lift;
else
curent_all_lift{size(curent_all_lift,1)+1,1} = [set1,'->',set2];
curent_all_lift{size(curent_all_lift,1),2} = lift;
end
end
end

% 存储置信度与提升度
if ii == 1
all_confidence{1,1} = itemset;
all_confidence{1,2} = curent_all_confidence;
else
all_confidence{size(all_confidence,1)+1,1} = itemset;
all_confidence{size(all_confidence,1),2} = curent_all_confidence;
end

if ii == 1
all_lift{1,1} = itemset;
all_lift{1,2} = curent_all_lift;
else
all_lift{size(all_lift,1)+1,1} = itemset;
all_lift{size(all_lift,1),2} = curent_all_lift;
end

end

% 生成当前频繁项集的所有真子集的函数
function subsets_fuc = generate_subsets(itemset)
subsets_fuc = {};
% 如果itemset中的元素有逗号,则去掉

if ismember( ',', itemset)
itemset = strrep(itemset, ',', '');
end

for i = 1:( length(itemset)-1 )
% 生成项集的所有可能子集
subsets_fuc_temp = nchoosek(itemset, numel(itemset) - i);

for j = 1:length(subsets_fuc_temp)
itemset_temp = subsets_fuc_temp(j,:); % 第j行
% subsets可能为'DE'、'ADE',需变成'D,E'、'A,D,E'
% 如果项集中包含逗号，则表示已经是单个字符的单元格数组，不需要额外处理
if contains(itemset_temp, ',')
itemset_cells = itemset_temp;
else
% 将字符串拆分为单个字符，并使用逗号连接成字符串
itemset_cells = cellstr(strjoin(cellstr(itemset_temp'), ','));
end

subsets_fuc = [subsets_fuc;itemset_cells];
end
end

% 按真子集的元素长度进行排序
[~, idx] = sort( cellfun(@numel, subsets_fuc) );
subsets_fuc = subsets_fuc(idx);

end

function support = calculate_support(itemset, transactions)
% 作用：计算支持度
% itemset：项集
% transactions：事务集

% 统计包含当前项集的交易记录数
count = 0;
for j = 1:numel(transactions)
% 将主字符串和子字符串分割成字符数组
str_chars = strsplit(transactions{j}, ',');
substr_chars = strsplit(itemset, ',');

% 检查子字符串中的所有字符是否都包含在主字符串中
if all(ismember(substr_chars, str_chars))
count = count + 1;
end
end

% 计算支持度
support = count / numel(transactions);
end

实验结果：

①基本结果

注：为方便输入输出，将原题中的中文购物清单替换成了英文字母，具体如下表

中文咖啡香肠面包香皂牛奶洗衣粉果酱
英文字母CSBOMWJ

候选k项集candidate_items

频繁k项集frequent_itemsets

最终频繁k项集下的按照关联规则处理后的所有置信度all_confidence

因为最小置信度为60%，所以最后的关联规则为：

咖啡→香肠,confidence=3/4=75%

香肠→咖啡,confidence=3/4=75%

面包→咖啡,confidence=2/2=100%

牛奶→咖啡,confidence=2/2=100%

果酱→香肠,confidence-2/2=100%

②额外结果

最终频繁k项集下的按照关联规则处理后的所有提升度all_lift

Robbi_
关注
  • 7
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
【老生谈算法】matlab实现apriori算法源码——apriori算法
m0_53407570的博客
08-07 895
搜索D中4个事务,统计C2中每个侯选项目集的支持度。在第k步,分两个阶段,首先用一函数sc_candidate(候选),通过第(k-1)步中生成的最大项目集Lk-1来生成侯选项目集Ck。关联规则是描述数据库中数据项之间存在的潜在关系的规则,形式为,其中,是数据库中的数据项.数据项之间的关联规则即根据一个事务中某些项的出现,可推导出另一些项在同一事务中也出现。然后,是prune(修剪)步,即对任意的c,c∈Ck, 删除Ck中所有那些(k-1)维子集不在Lk-1中的项目集,得到侯选项目集Ck。...
【老生谈算法】matlab实现apriori算法关联分析源代码——apriori算法
m0_53407570的博客
06-23 321
搜索D中4个事务,统计C2中每个侯选项目集的支持度。在第k步,分两个阶段,首先用一函数sc_candidate(候选),通过第(k-1)步中生成的最大项目集Lk-1来生成侯选项目集Ck。关联规则是描述数据库中数据项之间存在的潜在关系的规则,形式为 ,其中 , 是数据库中的数据项.数据项之间的关联规则即根据一个事务中某些项的出现,可推导出另一些项在同一事务中也出现。然后,是prune(修剪)步,即对任意的c,c∈Ck, 删除Ck中所有那些(k-1)维子集不在Lk-1中的项目集,得到侯选项目集Ck。
【大数据分析与挖掘算法】matlab实现——改进的Apriori关联规则算法
最新发布
Robbi_的博客
09-04 73
算法改进的方式有很多，书上给出的这个示例主要是考虑到空间的充分利用，将直接扫描k项集改成k项集通过k-1项集来合成，从而方便快速地产生强项集，在产生过程中也要注意逻辑标记以跳过某些属性减少扫描次数，从而降低整体的时间复杂性。
数据挖掘——关联分析Apriori算法
qq_47326711的博客
04-29 1761
数据挖掘——关联分析Apriori算法实验原理关联规则:示例算法Apriori算法原理：目标：实验步骤代码结果分析 实验原理 关联规则: 是形如X→Y的蕴涵式，其中，X和Y分别称为关联规则的先导(antecedent或left-hand-side, LHS)和后继(consequent或right-hand-side, RHS) 。其中，关联规则XY，存在支持度和信任度。 支持度：几个关联的数据在数据集中出现的次数占总数据集的比重 Support(X,Y)=P(XY)=number(XY)num(AllSa
关联规则浅谈以及Apriori算法matlab实现
热门推荐
lfdanding的专栏
02-27 4万+
关联规则分析也叫做购物篮分析，最早是为发现超市销售数据库中不同商品之间的关联关系。例如一个超市的经理想要更多的了解顾客的购物习惯，比如“哪组商品可能会在一次购物中同时被购买？”或者“某顾客购买了个人电脑，那该顾客三个月后购买数码相机的概率有多大？”他可能会发现如果购买了面包的顾客同时非常有可能会购买牛奶，这就导出了一条关联规则“面包->牛奶”，其中面包称为规则的前项，而牛奶则称为规则的后项。通过对面
matlab实现apriori算法源代码实验报告
雨梦水寒丶
02-27 5588
一、实验目的 通过实验，加深数据挖掘中一个重要方法——关联分析的认识，其经典算法为apriori算法，了解影响apriori算法性能的因素，掌握基于apriori算法理论关联分析的原理和方法。 二、实验内容 对一数据集用apriori算法做关联分析，用matlab实现。 三、方法手段 关联规则挖掘的一个典型例子是购物篮分析。市场分析员要从大量的数据中发现顾客放入其购物篮中的不同商品之间的关系。如果...
关联规则挖掘——Apriori算法的基本原理以及改进
涛涛之海
04-09 2841
问题引入 关联规则挖掘发现大量数据中项集之间有趣的关联或者相互联系。关联规则挖掘的一个典型例子就是购物篮分析，该过程通过发现顾客放入其购物篮中不同商品之间的联系，分析出顾客的购买习惯，通过了解哪些商品频繁地被顾客同时买入，能够帮助零售商制定合理的营销策略。购物篮事务的例子如下图所示： 例如：在同一次去超级市场时，如果顾客购买牛奶，同时他也...
数据分析与挖掘实战-中医证型关联规则挖掘
周先森爱吃素的博客
12-20 3145
中医证型关联规则挖掘 背景 显然，如今的中医治疗再度火了起来，归根到底的原因还是中医在某些疾病处理上具有天然优势。 而且，中医治疗没有西医治疗的很多毒副作用。 “先证而治”。 挖掘目标 发现中医症状间的关联联系和诸多症状之间的规律性，并且依据规则分析病因、预测病情发展以及为未来临床诊治提供有效借鉴。 也就是说，借助乳腺癌患者病理信息，挖掘患者的症状与中医证型之间的关联联系，...
商品零售购物篮分析——关联挖掘
weixin_44436319的博客
05-02 7418
一、实验目的 掌握对数据进行预处理和探索性分析的方法； 掌握如何利用Apriori关联规则算法进行购物篮分析。 二实验内容 构建零售商品的Apriori关联规则模型，分析商品之间的关联性； 根据模型结果给出销售策略。 三、实验操作步骤和结果分析 首先导入需要用到的库 import pandas as pd import seaborn as sns import matplotlib.pyplot as plt 加载数据集 # 加载数据 order_data = pd.read_csv("Goo
matlab实现apriori算法关联分析源代码.doc
11-21
Apriori 算法是一种常用的关联规则挖掘算法，它可以从大量数据中发现隐含的关联关系。下面是 Apriori 算法的详细说明： 一、实验目的 通过实验，加深数据挖掘中一个重要方法——关联分析的认识，其经典算法为 ...
数据挖掘关联规则原著算法——Apriori等
05-08
**Apriori算法** 是由R Agrawal和R Srikant在1994年提出的一种基于频繁项集的关联规则挖掘算法。它的核心思想是“如果一个项集是频繁的，那么它的任何子集也必须是频繁的”，即“先验性”原则。Apriori算法通过迭代...
Python 数据分析— Pandas 基本操作（上）
fjwangxi的博客
09-03 610
python pandas Series DataFrame 类的创建及基本操作
Python：解锁高效编程与数据分析的钥匙
运维人生
08-31 825
Python以其简洁的语法、丰富的库支持和广泛的应用场景，成为了现代编程和数据科学领域不可或缺的一部分。无论是初学者还是资深开发者，都能从中找到适合自己的学习路径和开发工具。通过本文的介绍和代码案例，希望读者能够感受到Python的魅力，并在实际项目中加以应用，解锁更高效、更智能的编程和数据分析之旅。
数据分析处理库（pandas)
m0_72674633的博客
08-31 1415
数据分析处理常用的技巧和方法模板
【数据分析工具】使用Pandas进行数据分析
weixin_39372311的博客
08-29 659
Pandas是基于Python的开源数据分析工具，特别适用于结构化数据的处理。它提供了高效的数据操作功能，包括数据清洗、转换、合并、过滤和统计分析。Pandas的核心数据结构是Series和DataFrame，分别用于一维和二维数据的表示。Pandas凭借其强大的数据处理和分析功能，已经成为数据科学家和分析师的必备工具。从数据导入、清洗、处理，到分析与可视化，Pandas为我们提供了一站式解决方案。掌握Pandas的使用，将极大地提升数据处理和分析的效率，使数据科学工作变得更加高效和便捷。
有哪些数据分析类的软件可供参考？
weixin_42684533的博客
08-31 1194
PowerBI和Tableau的使用相对比较简单，在数据清洗方面有大量的功能菜单可以使用，比如数据排序、数据去除重复值、数据聚合等，除此之外，还可以使用软件内的计算字段功能，对数据做更高级的清洗，有意思的是，在数据可视化时，PowerBI和Tableau都可以使用简单的“托拉拽”，就可以生成一个丰富的交互式图表。，所以，借助工具进行数据清洗以及可视化很有必要，可以提高数据处理效率，以及丰富分析内容，针对不同的数据分析应用场景，可分为初级、中级、高级工具，下面举例说明。
Python 数据分析笔记— Numpy 基本操作（上）
fjwangxi的博客
08-28 330
数组（Array）：是有序的元素序列，可以是一维、二维、多维。array1 = [1,2,3] 或['a', 'b', 'c', 'd']矩阵（Matrix）：是一个按照长方阵列排列的复数或实数集合。基本运算对有相同行数与列数的数组（矩阵）的各项数字相加（减），得到新数组（矩阵）。1.数组乘法：对有相同行、列数的数组相乘得到新数组。a * b # 将数组a、b的对应项相乘#输出：array([[ 4, 10, 18], [28, 40, 54]])
【机器学习】任务二：波士顿房价的数据与鸢尾花数据分析及可视化
FHY26828的博客
08-31 1802
机器学习的项目中都需要大量的数据，这些数据来源于现实生活、scikit-learn库或 Keras 库等，然后对数据进行探索是训练模型的必修课。特征值包括城镇人均犯罪率、住宅用地所占比例、每栋住宅的平均房间数、到达高速公路的便利指数、城镇非零售业的商业用地所占比例等。库中的鸢尾花数据集，显示数据集特征值和标签值的类型、属性和部分数据，并绘制花瓣长度和花瓣宽度与鸢尾花品种的散点图。个标签值，其中特征值分别是花萼长度、花萼宽度、花瓣长度和花瓣宽度，标签值表示鸢尾花的种类，分别是 Setosa。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Robbi_

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值