数据关联分析告诉你干掉你的，往往不是同行，而是跨界者

你有多久没有留意超市结算口的口香糖了？是什么转移了你的注意了？作为一个格子衫的忠实用户，你的午餐还是单调的方便面吗？翻翻通话记录，联络最多的人居然时外卖？还记得沃尔玛那个“啤酒与尿布”的故事吗？智能手机与口香糖，外卖与方便面，啤酒与尿布，这些好不相关的东西居然紧密的关联了起来，改变了我们的生活，也改变了行业布局。

我们以啤酒与尿布的故事为例，它是IT技术与零售业的第一次握手，是数据挖掘领域的一个著名案例。沃尔玛对其顾客的购物行为进行购物篮关联规则分析后发现：啤酒与尿布经常被一起购买！完全出乎了人们的常识。沃尔玛后来把这两种商品放在一起，大大提高了商品的销售量和顾客满意度。由此产生的关联分析技术，为零售商场合理布局提供了重要的决策依据。关联分析也成为当前信息领域最成功的应用技术之一，为IT技术再零售业中深入应用奠定了坚实的基础。

说到数据分析，大家的第一反应是什么？各种复杂的计算公式、令人眼花缭乱的数据表单，还是瞬息万变的趋势图？数据分析作为数学与计算机科学相结合的产物，主要利用分布式数据库，或者分布式计算集群来对存储于其内的海量数据进行普通的分析和分类汇总等，以满足大多数常见的分析需求。要了解数据关联分析，先要从数据分析方法说起。

数据分析常见的分析方法

Analytic Visualizations（可视化分析）

不管是对数据分析专家还是普通用户，数据可视化是数据分析工具最基本的要求。可视化可以直观的展示数据，让数据自己说话，让观众听到结果。

Data Mining Algorithms（​ 数据挖掘算法）

可视化是给人看的，数据挖掘就是给机器看的。集群、分割、孤立点分析还有其他的算法让我们深入数据内部，挖掘价值。这些算法不仅要处理大数据的量，也要处理大数据的速度。

Predictive Analytic Capabilities（预测性分析能力）

数据挖掘可以让分析员更好的理解数据，而预测性分析可以让分析员根据可视化分析和数据挖掘的结果做出一些预测性的判断。

Semantic Engines（语义引擎）

由于非结构化数据的多样性带来了数据分析的新的挑战，因此需要一系列的工具去解析，提取，分析数据。语义引擎需要被设计成能够从“文档”中智能提取信息。

Data Quality and Master Data Management（数据质量和数据管理）

数据质量和数据管理是一些管理方面的最佳实践。通过标准化的流程和工具对数据进行处理可以保证一个预先定义好的高质量的分析结果。

数据的关联分析方法是数据信息挖掘领域最活跃的研究方法之一，认识数据关联分析前需要先知道关联规则的几个概念。

什么是数据的关联分析？

关联分析又称关联挖掘，是数据信息挖掘领域最活跃的研究方法之一，最早在1993年被提出，其目的是在交易数据、关系数据或其他信息载体中，查找存在于项目集合或对象集合之间的频繁模式、关联、相关性或因果结构，也称为关联规则学习。即通过寻找数据集中各项之间的关联关系，根据所挖掘的关联关系，可以从一个属性的信息来推断另一个属性的信息。当置信度达到某一阈值时，可以认为规则成立。例如：购物篮分析，最早是为了发现超市销售数据库中不同的商品之间的关联关系。

关联规则的7个概念

1.项与项集

项，指我们分析数据中的一个对象；项集，就是若干项的项构成的集合，如集合{牛奶、麦片、糖}是一个3项集

2.支持度

某项集在数据集中出现的概率。即项集在记录中出现的次数，除以数据集中所有记录的数量。支持度体现的是某项集的频繁程度，只有某项集的支持度达到一定程度，我们才有研究该项集的必要。support(A)=count(A)/count(dataset)=P(A)

3.置信度

项集A发生，则项集B发生的概率。关联规则{A->B}中，A与B同时出现的次数，除以A出现的次数。

置信度体现的是关联规则的可靠程度，如果关联规则{A->B}的置信度较高，则说明当A发生时，B有很大概率也会发生，这样就可能会带来研究价值。

4.提升度

关联规则{A->B}中，提升度是指{A->B}的置信度，除以B的支持度

提升度体现的是组合（应用关联规则）相对不组合(不应用关联规则)的比值，如果提升度大于1，则说明应用该关联规则是有价值的。如果提升度小于1，说明应用该关联规则起到了负面影响。因此，我们应该尽可能让关联规则的提升度大于1，提升度越大，则应用关联规则的效果越好。（注：如果两个事件相互独立，P(AB)=p(A)*P(B),提升度为1）.

5.频繁项集

如果项集I的支持度满足预定义的最小支持度阈值，则I是频繁项集。

通常情况下，我们只会对频繁出现的项集进行研究。如果一个频繁项集含有K个元素，我们称之为频繁K项集。

6.最小支持度

用户或专家定义的衡量支持度的一个阈值，表示项集在统计意义上的最低重要性。

7.最小置信度

用户或专家定义的衡量置信度的一个阈值，表示关联规则的最低可靠性。同时满足最小支持度阈值和最小置信度阈值的规则成为强规则。目前，设置最小支持度和最小置信度，大部分根据业务经验设置初始值，然后经过多次调整，获取与业务相符的关联规则结果。

在关联分析中，目前常用的算法有Apriori算法、FP-growth算法、Eclat算法、灰色关联分析算法。

常用的4个关联分析算法

Apriori算法

Apriori算法是第一个关联规则的挖掘算法，它开创性的使用了基于支持度的剪枝技术来控制候选项集的指数级增长。Apriori算法产生频繁项集的过程有两步：第一，逐层找出当前候选项集中的所有频繁项集：第二，用当前长度的频繁项集产生长度加1的新的候选项集。

优点：可以产生相对较小的候选集。
缺点：要重复扫描数据库，且扫描的次数由最大频繁项目集中项目数决定，因此Apriori适用于最大频繁项目集相对较小的数据集中。

​Apriori原理

FP-growth算法

FP-growth算法基于Apriori构建，但采用了高级的数据结构减少扫描次数，大大加快了算法速度。FP-growth算法只需要对数据库进行两次扫描，而Apriori算法对于每个潜在的频繁项集都会扫描数据集判定给定模式是否频繁，因此FP-growth算法的速度要比Apriori算法快。FP-growth算法发现频繁项集的基本过程有两步：第一构建FP树；第二，从FP树中挖掘频繁项集。

优点：一般要快于Apriori。
缺点：实现比较困难，在某些数据集上性能会下降，只适合离散型数据。

FP树

Eclat算法：

ECLAT算法是一种深度优先算法。采用了垂直数据表示的方法，将数据按照项集存储。该储存中，每条记录包括一个项集标识和包含它的事务标识。这样k+1阶项集的支持度可以直接由它的两个k阶子集的交易标识的集合运算得到。

优点：采用了与传统挖掘算法不同的垂直数据库结构，由于这样只要扫描两次数据库，大大减少了挖掘规则所需要的时间，从而提高了挖掘关联规则的效率。
缺点：该算法没有对产生的候选集进行删减操作，若项目出现的频率非常高,，频繁项集庞大, 进行交集操作时会消耗系统大量的内存, 影响算法的效率。

灰色关联分析算法：

灰色关联分析算法的基本思想是根据序列曲线几何形状的相似程度来判断其联系是否紧密。曲线越接近，相应序列之间的关联度就越大，反之就越小。一般的抽象系统，如社会系统、经济系统、农业系统、生态系统、教育系统等都包含有许多种，多种因素共同作用的结果决定了该系统的发展态势。灰色关联分析法则用于确定各因素对其所在系统的影响程度。

优点：弥补了采用数理统计方法作系统分析所导致的遗憾。它对样本量的多少和样本有无规律都同样适用，而且计算量小，十分方便，更不会出现量化结果与定性分析结果不符的情况。
缺点：要求需要对各项指标的最优值进行现行确定，主观性过强，同时部分指标最优值难以确定。

这些算法在实际的分析过程由于需要撰写大量的代码，对于企业来说，需要配备相对数量且具有一定能力的数据分析人员，这必然导致企业成本的增加。

关联分析软件盘点

工具	数据继参引方式	可视化转世方式			适用方法
ODE	直接浏览关联数据集	列表	数据集以“属性-属性值”对形式展示		安装浏览器插件
CubeViz	配置SPARQL查询端点	图形化浏览	语义数据表	内置图形展示关联数据集	嵌入HTML页面，插件多种可视化浏览
	配置关联数据集RDF文件
Sgvizler	配置SPARQL查询端点		通用数据类型	Google Charts图形展示查询结果	嵌入HTML页面，构建SPARQL查询式，进行可视化浏览
RelFinder	配置SPARQL查询端点			内置图形展示实体间关系	远程服务\本地服务器内运行，通过关键词查询，发现实体间关联
SynopsViz	配置关联数据集RDF文件			内置图形展示实体间关系	远程服务，提供多种可视化浏览
九宫格数据	自动关联分析及人工配置关联字段			内置图形展示实体间关系	远程服务\本地服务器内运行，提供多种可视化浏览

九宫格数据的关联分析功能体验

在九宫格数据体验店体验了该工具关联分析能力，体验中所用数据为采购业务相关的主数据（企业物料主数据、企业供应商主数据）、交易数据（采购订单流水数据、采购请购单流水数据）的体验：

1. 快速单表，多表进行数据质量摸底探查（重复记录， 一致性检查，完整性检查等）
2. 数据溯源分析及业务关联系统集成分析
3. 采购订单业务数据与主数据依存度（数据同步及数据归属管理分析）
4. 新供应商（采购订单中的供应商数据比对供应商主数据）占比分析
5. 同一物料不同供应商的价格分析
6. 同一物料不同时期的价格价格分析
7. 异常价格分析

体验过程输出示例：
 

规则配置

关联分析执行流程

体验部分成果输出示例：

图一 体验科目及数据探查与分析结果

图二 企业物料主数据库与交易流水库的物料编码依存度

图三 采购单数据库中一定时间内同一物料单价正态分布规律

整体体验
1、数据导入时自动进行主键分析，发现所有满足或接近满足唯 一性的主键字段，分析字段中有多少重复值，重复值影响的行数等。可以帮助数据管理员和业务人员进一步判断确定主键。在指定的一个或多字段进行主键分析时分析结果可下钻到具体的详细记录。
2、在数据导入时自动进行表内字段间依赖分析，分析字段间值的冲突情况。这个可以帮助数据管理员和业务人员进一步判断确定字段间依赖是否正常。

3、在数据导入后，通过已发现的的依赖分析，可手动创建标间字段关联，发现表间可能的关联关系，分析两表间相同/不相同的值个数及记录数量，能通过维恩图直观方便地进行结果展示，并生成 E-R（实体关系模型）图。

4、整个过程绝大时候由工具在加载数据时自动完成分析，因此速度很快，除了已知的规则，还可通过对数据本生的自动化分析，从而发现新的规则，很大程度上提高了分析结果的准确性；整个过程中，除了规则配置时需要撰写类似SQL模式的规则（有大量内置函数供使用），其余操作都是通过拖拽或点选方式完成，使用方便。

数据关联分析软件是数据分析师的利器，就相当于厨师手中的菜刀，数据分析师掌握一些数据分析工具能够极大提升工作效率，毕竟我们是与数据打交道，难免会处理各种各样的数据。不同的大数据分析工具有着不同的适用场所，在对大数据分析工具的选择时，还是应该根据公司或者个人的实际需求来做决定。