Google BigQuery 创始工程师：大数据已“死”

关于这篇文章

在本文中，我将论证大数据时代已经结束。如今我们不必不再担心数据的规模，相反，我们应该专心研究如何利用大规模数据制定出更好的决策。

我会展示一些图表，虽然这些图表是根据记忆手动绘制的，但重要的是观察曲线的走向。

图表背后的数据来自分析查询日志、交易事后分析、基准测试结果（已发布和未发布）、客服票据、客户对话、服务日志、已发布的博客文章，再加上一些直觉。

一张幻灯片

在过去的十年里，每一个大数据产品的推销平台都是从与下面这张幻灯片类似的宣传资料开始的：

在 Google，多年来我们一直在使用这张幻灯片。后来，我到了 SingleStore，发现他们使用的也是类似的图表，只不过版本略微不同。此外，我见过其他几家供应商也有类似的东西。这张幻灯片可以引发潜在的“恐慌”：“大数据来了！抓紧购买我家的产品吧！”

这张幻灯片真正想转达的消息是：**处理数据的旧方法已经行不通了。**数据生成的加速导致以前的数据系统陷入困境，所有接受新想法的人都将超越竞争对手。

当然，仅仅因为生成的数据量在增加并不意味着这会成为每个人的问题， 数据分布不均。大多数应用程序不需要处理大量数据。这导致使用传统架构的数据管理系统的复兴，SQLite、Postgres、MySQL 都开始强势发展，而 NoSQL 以及 NewSQL 系统的发展都出现了停滞。

若论 NoSQL 或其他横向扩展数据库，MongoDB 的人气最高，虽然多年来 MongoDB 的发展也算顺风顺水，但最近出现了小幅下降，而且与 MySQL 和 Postgres 这两种单体数据库相比，MongoDB 的发展始终不如人意。如果大数据真的占据统治地位，那么几年内我们本应能看到很大的不同。

当然，在分析系统中的情况有所不同，但在 OLAP 中，我们看到了从内部部署到云的巨大转变，并且实际上没有任何可扩展的云分析系统可与之抗衡。