Fmacloud的博客

一、关系型数据库的不适性在众多不同的数据模型里，关系数据模型自20世纪80年代就处于统治地位，而且出现了不少巨头，如Oracle、MySQL，它们也被称为：关系数据库管理系统（RDBMS）。然而，随着关系数据库使用范围的不断扩大，也暴露出一些它始终无法解决问题，其中最主要的是数据建模中的一些缺陷和问题，以及在大数据量和多服务器之上进行水平伸缩的限制。同时，互联网发展也产生了一些新的趋势变化：...

随着5G万物互联时代的到来，社交、电商、金融、物联网等行业织起了一张庞大而复杂的数据关系网，获得了新的发展空间。然而要想真正利用数据，获取越来越多、越来越复杂的关联数据中产生的业务价值，并非易事。为了应对大数据新时代的难题，工业界将越来越多的目光投向了图数据（Graph）。图数据是一种面向关联关系的数据模型，可以跨越数据障碍、有效地建模、探索和查询多种类型的异构数据，成为大数据时代的一颗新星。...

本文是“图计算系统发展简史”系列文章的第五篇也是最后一篇，将介绍之前没有提及的图计算系统相关或是细分领域的一些工作。图计算语言之前我们提到的所有图计算系统都需要用户使用如C++、Java等程序设计语言来描述计算过程，很多时候不得不写比较长的代码，并且不同的系统通常有不同的API，可移植性非常低。因此，一个很自然的想法出现了：为什么不创建一套专门面向图计算的领域专用语言呢？Green-Marl...

国内某大型支付金融机构是国内第三方支付领军企业，为个人和企业用户提供支付、征信、融资、社区金融等服务。为提供更快捷更安全的贷款审批服务，2018年该金融机构与费马科技合作，基于费马图数据平台构建全量用户关系图谱，充分发掘硬件设备的潜力，从用户的4度联系人分析拓展至6度联系人，使分析的数据规模实现数万倍的增长，全面提升风控等级，打造以用户为中心的共生系统。面临挑战国内某大型支付金融机构是国内领...

本文是一系列文章的第四篇，将介绍图计算系统领域在COST这篇文章出现后的发展。Scalability! But at what COST?《Scalability! But at what COST?》这篇文章为大数据平台提供了一个衡量指标——COST（the Configuration that Outperforms a Single Thread，即超过单线程的性能所需要的配置）。针对一...

认识洪春涛，其实是在BDTC大会上，当时在微软亚太研究院的他还是一头长发，如今，身为费马科技的CEO，洪春涛用一头干练的短发迎接了老孙的来访。费马到底是一匹什么“马”？对于许多人来说，相对于微软亚太研究院，费马科技的名头就小多了。但如果聚焦到图数据库领域，这家由清华大学的多名博士联合组建，专注于图数据技术，为企业提供高性能图数据存储及分析平台的国家高新技术企业，还是颇有名气的。关于费马的名...

本文是一系列文章的第三篇，将介绍图计算系统领域在Pregel/GraphLab/PowerGraph/GraphChi这些奠基性工作出现后的进展。我们将按照两个维度：使用的机器数量、是否使用外存作为内存的扩展，将图计算系统分为四个象限——单机内存、单机外存、多机内存、以及多机外存，分别介绍每个象限中的代表性系统。单机内存现代的多路服务器已经可以⽀持TB级别的内存容量，⾜够容纳边数在百亿规模以下...

本文是一系列文章的第二篇，将介绍图计算系统领域的开山之作Pregel和各类衍生的开源系统，以及GraphLab团队的一系列工作。Pregel图计算在Google内部有很多应用场景，一个最经典的例子是PageRank——Google最早用来对网页进行排序的算法。而Google在2008年时就已经索引了超过一万亿的网页[1]！尽管使用MapReduce能够处理非常大规模的数据，然而日益增长的网页数...

图论起源于18世纪欧拉对哥尼斯堡七桥问题的研究，并经由众多数学家乃至计算机科学家不遗余力的发展成为了我们解决很多实际问题的强力武器。如今，基于图模型的数据分析方法已经应用在了互联网的很多场景：社交网络分析、网页排序、社区发现……在天体物理学、计算化学、生物信息学等自然科学领域，图也有广泛的应用。然而，随着图数据规模的不断扩大，在图上进行计算的效率也变得越发重要，并由此引发了学术界和工业界一轮又一轮...

今天给大家分享一个图数据技术在互联网行业的应用。搜狗搜索是国内TOP级的搜索引擎，其搜索排序是基于PageRank算法实现（PR值），数据体量达到万亿级别，常规hadoop分布式计算方法无法实现全部网页的检索排序。因此，我们与搜狗搜索一起，基于图数据打造万亿级别的网页分析，实现全量网页PageRank算法计算，从“网站级”或“目录级”，支持到全量“网页级”，从而为搜索用户提供更精准更高效的信息搜索...

对于广大刚刚接触“图数据分析”的用户而言，一个十分具有迷惑性的问题是：图数据库和图计算系统有什么区别？今天，我们就从技术层面来简单地说一说两者的不同之处。图数据库适合需要对子图进行并发操作的场景；图计算系统适合需要对全图进行迭代式计算的场景。图计算系统我们先从图计算系统开始。图计算系统面向的场景主要是全图分析类的任务，例如：计算每个顶点的PageRank；计算从某（几）个顶点出发到其它所有...

随着中美贸易战愈演愈烈，在科技领域也不由得拉响了警报。“去IOE”多年，有很多成果也有很多无奈，在数据库领域，我们至今依然无法摆脱受制于人的局面。Oracle前段时间大规模裁员的事情带给我们很多反思，我们需要在系统软件领域深耕，尽早摆脱掣肘的局面，为中长期的谈判对抗上增加筹码。图数据技术显然会是系统软件领域弯道超车的机会之一。图是将信息中的实体，以及实体之间的关系，分别抽象表达成为顶点以及顶点...

100倍分析性能提升 清华冠军团队用图数据震惊世界中美贸易战愈演愈烈，归根结底是美国对我们遏制和我们谋求持续发展之战。美国几次三番针对我国的科技公司，为我们敲响了警钟，科技自强是硬道理。我国虽然鲜有顶尖级的系统软件商业公司，但我们在科技领域并不缺少世界顶尖人才和成果。以清华大学朱晓伟博士为例，他在读期间专注于图计算领域，研发的Gemini分布式图计算系统，处理速度超出学术界最快系统10倍（通...