图（关系网络）数据分析及阿里应用

2019年1月18日，由阿里巴巴MaxCompute开发者社区和阿里云栖社区联合主办的“阿里云栖开发者沙龙大数据技术专场”走近北京联合大学，本次技术沙龙上，阿里巴巴资深技术专家钱正平为大家分享了大数据技术背景下图数据的应用前景，以及阿里巴巴在图数据的建模、查询和系统优化等方面做出的初步探索。

以下内容根据演讲视频以及PPT整理而成。

一、什么是图数据？

下面的关系网络展示了一个点和边构成的数据模型，点表示实体，边表示两个实体间的关系。关系网络极具灵活性，能够在统一视图里展示异构信息，其中的边可能来自不同表。比如，下图中的边表示了两个明星间的关系，可能由若干张表通过join操作形成。

如今，机器学习的数据分析pipeline可应用于各行各业各个门类的数据，来帮助企业更好地决策。图数据的价值在于它能够显式地表达出数据间的复杂关联结构，以辅助机器学习的数据分析过程，帮助机器学习算法更好地挖掘出数据背后的结构特征，提供更精准更可靠的决策支持。图数据的这种能力对一些领域格外重要。


Google早期使用的搜索算法pageRank就利用了图数据的这种能力，它利用网页间的相互链接信息来决定网页的重要程度。具体来说，被越多网页链接的网页越重要，被越重要的网页链接的网页也越重要。Google利用图数据重新定义了搜索，取得了非常卓越的成功。


图数据对阿里巴巴同样意义重大。以阿里巴巴的应用生态为例，天猫包含了用户的在线交易信息，高德地图包含了用户的出行信息，优酷土豆等包含了用户的观影信息，以人为维度将这些信息关联起来可以得到关于某用户的完整信息，以理解用户偏好。图数据模型能够将许多分散的图场景整合起来，形成一个庞大的图结构。阿里巴巴的图结构包含几十亿个点，成百上千亿条边，同时阿里应用巨大的日交易量也使得图结构千变万化，这些都为图数据的计算带来了严峻的挑战。


图应用与具体场景相关，阿里巴巴针对不同的应用场景设计了不同的图数据处理算法。以一个很长的数字序列为例，对其进行数据分析的第一步是“看”，即观察该序列可能存在的特征，此外，可能使用特征统计分析该序列包含某数字的个数。更进一步，模式匹配可以探寻该序列中可能存在的模式子串。最后，机器学习算法比如神经网络能帮助挖掘数字序列背后的规律。对该序列进行数据分析能够帮助在线预测相关信息，比如数字序列的下一位数字等。图数据分析方法能帮助洞察图数据，阿里巴巴在图数据方面的应用包括五类。


第一类是“看”，下图展示了经敏感信息处理后的阿里巴巴内部使用的可视化平台。真实环境中，商业问题可能存在多方面因素，研判业务问题非常困难。将图结构应用于可视化平台能够整合多维度数据&