解析超大文件_从“雾里看花”到“豁然开朗”| 由分层加载谈超大规模学术地图结构的揭示...

指导老师| 傅洛伊 王新兵

核心技术成员| 李琦

• 导读

前面的推文曾简要介绍了上海交通大学Acemap团队提出的超大规模可视化方法——分割绘图法，并且展示了使用该方法对Nature杂志引用关系数据进行可视化的结果。直至此时，我们已经得到了该数据集的概览图，然而我们想要深入挖掘图中的细节之处，仅凭借一张概览图来观察颇有“雾里看花”之意！

Acemap团队再次聚焦此问题，针对超大规模学术地图的展示问题进行研究，提出了使用类似地图的分层加载技术。接下来，本文以Nature杂志引用关系数据可视化结果为例，介绍使用分层加载技术对超大规模学术地图结构的探索之旅。读者也可以自行点击链接http://acemap.info:8081/Naturemap/app/nature_html/或点击文末阅读全文来在线体验本文所述的地图加载和缩放。

超大规模学术地图展示利器——分层加载技术

我们日常所见的图像大致可分为位图和矢量图。对位图来说，每张位图有特定的分辨率，当我们将位图放大到特定级别后，位图就会失真。然而矢量图理论上可以放大到任何级别，而不发生失真。但当数据到达一定体量后，矢量图的解析速度将变得十分缓慢，且文件大小将会变的巨大，这对图的前端展示将造成灾难性的后果，严重影响用户体验！

分层加载技术首先将学术地图的不同层次进行绘制，并且将其分割为等大的PNG格式切片进行存储。当用户放大到相应层次后，程序将根据用户窗口的大小有选择的加载这些切片。因此分层加载技术能在数据体量巨大的情况下实现可视化结果的快速解析与缩放。

图1 Nature杂志引用关系分层加载

结构初揭示——学术领域间亦有板块

在图缩放初期，我们可以观察到整个数据集的全貌。如图2所示，我们可以看到整张图外部是一个环状结构，内部则出现了两个核心，即一个引用量很高的paper与众多paper聚集的星云状核心。

图2 Nature杂志引用关系数据可视化结果概览

图中那篇引用量极高的paper的题目为“Cleavage of Structural Proteins during the Assembly of the Head of Bacteriophage T4”，隶属生物学领域，这篇文章已经达到了118282的引用量，这篇paper在图缩放初期就能够在205余万篇paper中脱颖而出，其影响力可见一斑！

中心众多的paper则显示出了不同领域之间的板块结构。如图3所示，其展示了包括Biology，Physics，Chemistry，Psychology等领域之间的板块结构，这些板块支撑起了这些paper的结构，在这些板块的交界处则表示领域之间的交叉。

图3 Nature杂志引用关系数据可视化结果的板块结构

在图的初始缩放阶段，我们可以看到整个数据集的全貌以及领域之间的板块结构，我们惊喜地发现，学术领域亦有板块结构！而板块内部又是什么样的结构，这就需要借助分层加载来一探究竟了。

“一花一世界”——学术领域内的精彩世界

我们以Physics领域为例，通过分层加载技术，来揭示领域内学术网络的具体结构。Physics领域的分层加载如图4所示：

图4 Physics领域的分层加载显示

随着缩放程度的不断增加，图像开始显示该领域内的结构特点，学术地图的展示从宏观向微观变化；节点与节点之间的引用关系开始变得清晰，可以发现有些节点以某一中心节点积聚成簇，簇与簇之间彼此连接形成各种网络结构，进而构成学术领域内的微观结构，颇有“一花一世界”之感！

由“混沌”到“豁然开朗”——结语

分层加载技术为超大规模学术地图结构的揭示带来了福音。通过分层加载技术，我们发现学术地图内部亦存在类似地图板块的结构；随着缩放程度的增加，我们能够发现学术地图内部的微观结构，可谓之由“混沌”到“豁然开朗”。

然而，由于分层加载技术本质上是位图切片的空间拼接，这就造成了web交互设计的困难。但我相信，随着吾辈的努力，超大规模学术地图的交互绝不会陷入“混沌”，终会守得云开见月明！

●深趴CNS三大刊，牛文大咖气质揭秘大放送

●插上时间的翅膀：让“演进知识图谱”带你“瞻前顾后”看世界

●Acemap研究周报 | 大规模可视化破冰之旅

●人才项目立体画像 | 信息科学部深入剖析

-感谢关注-

另外，欢迎大家关注Acemap的官方知乎号，今日头条账号及微博账号，更快速的获得最新的信息噢

Acemap｜爱思美谱

2.27亿篇论文，1.15亿学者，24000+期刊会议的学术大数据智库和可视化学术地图系统