数据蒋堂 | 最简单的大数据性能估算方法

作者：蒋步星

来源：数据蒋堂

本文共1000字，建议阅读6分钟。大数据的性能是个永恒的话题。

大数据的性能是个永恒的话题。不过，在实际工作中我们发现，许多人都不知道如何进行最简单的性能估算，结果经常被大数据厂商忽悠 。

这个办法我在以往的文章中也提到过，不过没有以这个题目明确地点出来。

---

其实很简单，就是算一下这些数据从硬盘上取出来用的时间。除了个别按索引取数的运算外，绝大多数运算都会涉及对数据的整体遍历，比如分组汇总统计、按条件查询（非索引字段）；那么，这些运算耗用的时间，无论如何不可能小于硬盘访问的时间，我们就能算出一个理论上的极限值。

比如，有人宣称实现10T数据的OLAP汇总只需要3秒。那么这意味着什么呢？

常见的15000转硬盘，在操作系统下的访问速度也就不到200M/秒，SSD会快一些，但也没数量级的提升，大概3秒读1G的样子。这样，从单块硬盘中读出10T数据就需要30000秒以上，如果想在3秒内完成汇总，那就需要1万块硬盘！作为用户，你是否做了这个准备呢？

当然，硬盘及硬盘在不同环境下的速度不尽相同，可能更快或更慢，但总之都可以用这个简单的办法去估算。不知道自家硬盘的速度？那弄个大文件读一下试试就知道了，拿到实验数据再去计算会更准确。要强调的是，不能简单地看硬盘厂商标称的性能指标，在文件系统下，那个理想值常常连一半都达不到，还是实测的最可靠。

这样，我们就能知道某个大数据问题最理想的情况能够达到什么性能，比这个指标还好的期望，在用于估算指标的硬件条件下都是不可能实现的，没有必要再去琢磨软件产品和技术方案了。

---

这种估算也指明了一个优化方向，就是减少存储量和访问量。

减少存储量当然不能减少数据本身，用于计算的数据一条也不能少，否则就出现错误结果。减少存储量要靠数据压缩的手段。10T的原始数据，如果有好的压缩手段，实际在硬盘上存储下来可能只有1T甚至更少，这时候3秒汇总这些数据就不再需要1万块硬盘了。

在存储量不能再减少的情况下，还有些软件手段来减少访问量，常用的方法就是列存。一个数据表有100列占了10T，如果只访问三列进行汇总，那大概只需要访问300G数据，这时候3秒完成汇总当然也不需要1万块硬盘了。

不过，大数据厂商在宣称10T、3秒这种性能指标时，一般不会明确指出采用压缩或列存技术后存储量和访问量能降到多少。这就容易给用户造成错觉，以为这个技术能够通用地解决大数据问题，而经常，有些数据的压缩率无法做得很高，对于访问列较多的运算列存也没啥优势。

要更准确地估算性能极限，也要考虑减少存储量和访问量的手段。尝试一下自己的数据能有多大的压缩率（用常规的zip软件就可以），并且检查运算是否是从很多列中取出很少列的情况。

专栏作者简介

润乾软件创始人、首席科学家

清华大学计算机硕士，中国大数据产业生态联盟专家委员，著有《非线性报表模型原理》等，1989年，中国首个国际奥林匹克数学竞赛团体冠军成员，个人金牌；2000年，创立润乾公司；2004年，首次在润乾报表中提出非线性报表模型，完美解决了中国式复杂报表制表难题，目前该模型已经成为报表行业的标准；2014年，经过7年开发，润乾软件发布不依赖关系代数模型的计算引擎——集算器，有效地提高了复杂结构化大数据计算的开发和运算效率；2015年，润乾软件被福布斯中文网站评为“2015福布斯中国非上市潜力企业100强”；2016、2017年，荣获中国电子信息产业发展研究院评选的“中国软件和信息服务业十大领军人物”；2017年度中国数据大工匠、数据领域专业技术讲堂《数据蒋堂》创办者。

数据蒋堂

《数据蒋堂》的作者蒋步星，从事信息系统建设和数据处理长达20多年的时间。他丰富的工程经验与深厚的理论功底相互融合、创新思想与传统观念的相互碰撞，虚拟与现实的相互交织，产生出了一篇篇的沥血之作。此连载的内容涉及从数据呈现、采集到加工计算再到存储以及挖掘等各个方面。大可观数据世界之远景、小可看技术疑难之细节。针对数据领域一些技术难点，站在研发人员的角度从浅入深，进行全方位、360度无死角深度剖析；对于一些业内观点，站在技术人员角度阐述自己的思考和理解。蒋步星还会对大数据的发展，站在业内专家角度给予预测和推断。静下心来认真研读你会发现，《数据蒋堂》的文章，有的会让用户避免重复前人走过的弯路，有的会让攻城狮面对扎心的难题茅塞顿开，有的会为初入行业的读者提供一把开启数据世界的钥匙，有的甚至会让业内专家大跌眼镜，产生思想交锋。

数据蒋堂第二年往期回顾：