关联规则挖掘

数据挖掘——关联规则,频繁项集挖掘方法

搞数据分析数据挖掘相关的人都知道: 啤酒和尿布这个“梗”,下面以购物篮为例:

TId项集
1{面包,牛奶}
2{面包,尿布,啤酒,鸡蛋}
3{牛奶,尿布,啤酒,可乐}
4{面包,牛奶,尿布,啤酒}

K项集:包含0个或多个项的集合(一般只查找项集多的集合,出现少的项集可以忽略不计)

TId:事务T是一个非空项集,表中每一行代表一个事务。这里TId=4.

关联规则 定义式:

α=>β(s,c)

s:支持度:指事务中包含α,β的百分比,用于做判断。

c:置信度

频繁项集:项集中出现的频度大于min_support

例如:表格中事务

当K=1时,一项集。面包:3(3/TId=75%),牛奶:3(3/TId=75%),尿布:3(75%),啤酒:(75%)

当K=2时,二项集(事务中同时包含指定的两个)。{面包,牛奶}:2(2/4=50%),{面包,尿布}:2(2/4=50%),{尿布,啤酒}:3(75%),{牛奶,啤酒}:2(50%)

以此类推3,4......

关联规则度量:支持度s和置信度c

置信度c:指事务中包含a事务的同时也包含b的百分比。eg: confidence(a=>b)=p(b|a)=p(aUb)/p(a)

Tiditems
1{A,B,C}
2{A,C,D}
3{A,D,E}
4{B,E,F}
5{B,C,D,E,F}
K=1: A:60% B:60% D:80% E:60% (以为C,F占少量,相比于度量较小,所有不算入项集)

k=2: AD:60% (这里只找一个研究,读者可以罗列出所有的二项集)

度量规则:

A->D (60%,100%) :AD的支持度时60%,置信度60%/60%=100% D->A(60%,75%):DA的支持度是60%,置信度60%/80%=75%

其中A->D 置信度100%表示存在A一定有D,D->A 置信度75%表示存在D有75%的可能有A。

提升度: life=p(aUb)/p(a)p(b)

  • 1
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
最近几年,例如YAGO和DBpedia等大规模知识库发展有了很大的进步。知识库提供了大量的不同种类的实体信息,如人、国家、河流、城市大学等等,同时知识库包含了大量的在实体(entity)间的关系既事实(fact)。当今的知识库包含的数据量是巨大的通常有百万个实体和上亿个描述实体间关系的事实数据。 虽然目前的知识库存在大量的实体和事实数据,但是这样大规模的数据仍然不完整。目前构建知识库的方法主要有两种,一种是从大量的文本中抽取事实但这种方法必然会带来大量的噪声数据,第二是人工扩展,但这样的方法对于时间的开销是极大的。如果确保一个知识库是完整的则必须花费很大的努力来抽取大量的事实,并检查事实的正确性,因为只有正确的事实加入到知识库中才是有意义的。同时知识库的本身由于有足够的信息可以推理出更多的新的事实。例如有这样一个例子,一个知识库包含一组事实是孩子c有一个妈妈m,这样可以推理得出孩子妈妈的丈夫f很可能是孩子的父亲。该逻辑规则形式化的描述如下: motherof(m,c)∧marriedTo(m,f)⟹fatherof(f,c) 挖掘这种规则可帮助做一下四种事情:1、利用这种规则来推理出新的事实,而这些被挖掘出的新的事实可以使知识库更完整。2、这些规则可以检测出知识库潜在的错误例如一个陈述是一个与一个男孩无关的人是这个男孩的父亲,这样的陈述很可能是错误的。3、有很多推理工具依赖其他工具提供规则,所以这些被挖掘出来的规则可以用于推理。4、这些规则描述一个普遍的规律,这些规律可以帮我我们理解分析知识库中的数据,如找到一些国家通常与说同一种语言的国家交易。或结婚是一个对称关系,或使用同一个乐器的音乐家通常互相影响等等。 AMIE的目标是从RDF格式的知识库中挖掘如上所述的逻辑规则,在语义网(Semantic Web)中存在大量的RDF知识库如YAGO、Freebase和DBpedia等。这些知识库使用RDF三元组(S,P,O)提供二元关系(binary relation)的描述。由于知识库一般只包含正例而(S,P,O)没有反例(S,¬P,O),所以RDF这样的知识库中仅能通过正例来推理。进一步来说在RDF知识库上的操作是基于开放世界假设(OWA)的。在开放世界假设下,一个事实没有在知识库中存在那么我们不能说这个事实是错误的,只能说这个陈述是未知的。这与标准的数据库在封闭世界假设的设定有本质上的区别。例如在知识库中没有包含marry(a,b),在封闭世界假设中我们可以得出这个a没有和b结婚而在开放世界假设下我们只能说a可能结婚了也可能单身。 压缩包内包含AMIE可运行源代码与相应文档资料,欢迎下载参考

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值