何为图
当今紧迫的数据挑战在于厘清关系,而不仅仅是对离散数据制表。
图的起源
“哥尼斯堡七桥”是图问题的起源,能否参观哥尼斯堡市里由 7 座桥连接的 4 个区域,而且每座桥只允许经过一次,实际上这是不可能做到的。
构成图的对象有:
- 构成图的对象:节点、顶点;
- 节点之间的关联:关系、联系、边;
图分析和图算法
图分析
图分析是指基于图的方法来分析关联数据的过程,包括查询图数据、使用基本的统计方法、直观地研究图,或者将图整合到机器学习任务中,等等。
【PS:图算法属于图分析工具】
图算法
图处理是指执行图工作载荷和任务的方法:
- 局部图处理:大多数图查询针对图的特定部分(例如起始节
点),而且要做的工作通常集中在起始节点周边的子图中。这类局部图处理通常用于实时事务处理和基于模式的查询。 - 全局图处理:算法的输入通常是整张图,其输出则既可
以是一张增强的图,也可以是某种总值,比如得分。这种方法通过网络的连接关系揭示其整体性质。
图的事务处理
联机事务处理(online transaction processing,OLTP):
- 通常涉及一些短期活动,比如预订机票、记入账户、预售商品等。OLTP 提供海量低延迟查询处理和高数据完整性。
- 每个事务可能只涉及少量记录,但是系统要同时处理许多事务。
联机分析处理(online analytical processing,OLAP): - 对历史数据进行更复杂的查询和分析。这些分析可能涉及多个数据源、多种格式和类型。检测趋势、执行假设场景、进
行预测和发现结构模式等都是典型的 OLAP 用例。处理的事务少,但处理的记录更多且运行时间更长。
事务型分析(translytics)、混合事务与分析处理(hybrid transactional and analytical processing,HTAP ):
事务处理需要一种支持低延迟查询处理和高数据完整性的混合平台,同时需要在海量数据之上集成复杂分析。
图处理、图数据库、图查询和图算法
择优连接现象:研究网络增长的科学家注意到,连接性会随着时间的推移而增强,但是并不均匀。一个节点的连接关系越多,就越有可能建立新的联系。这导致了不均匀的集中度和中心。
在现实网络中,节点和关系的分布不均匀,在极端情况下表现出幂律分布特征。均匀分布假设大多数节点具有相同数量的关系,这样产生的是一个随机网络。幂律分布最著名的例子是帕累托分布(也称二八定律)。
图算法的应用
图分析所回答的问题类型:
- 传播途径:事务如何传播?
- 流程与影响:功能、代价和控制点是什么?
- 交互与弹性:事务如何交互?交互方式将如何改变?
所面临的挑战:
- 调查传染病或级联传输故障的传播路径。
- 发现网络中最易受攻击或最易损坏的组件。
- 确定在传送信息或资源时速度最快、代价最小的方式。
- 预测数据中缺失的联系。
- 定位复杂系统中的直接影响和间接影响。
- 发现不可见的层级结构和依赖关系。
- 预测群组将合并还是分裂。
- 发现瓶颈及有权拒绝或提供更多资源的个体。
- 基于行为发现社团以进行个性化推荐。
- 减少欺诈和异常检测中的假正例。
- 为机器学习提取更多预测性特征。
参考资料:
- 《数据分析之图算法:基于Spark和Neo4j》