大数据（big data）究竟是什么？

“大数据”这个词最近两三年在IT界越来越热门，搞IT的如果嘴里不说起大数据，就好象是落了伍。大数据的意思不同人有不同的说法，比较实在含义是特指以Hadoop为代表的大型并发机群（Massively Parallel Processor）数据存储系统 。PB(1PB=1000TB)级在线数据（online data）存储在Hadoop里面，即被称作大数据。这几年，这个领域一直是个热门，即便在08, 09年这样的经济衰退期，美国风险投资对这个领域的投资都在一直增加，一批如Cloudera, MapR专门开发Hadoop系统的创业公司得以成长起来。那么大数据只是一时的时髦，还是一个真实的发展趋势呢？

 

海量数据的存储问题，在过去几十年主要由磁带来解决。磁带是一种离线（offline）存储方式，数据一旦备份到磁带里，要再被读取出来，就需要经过繁琐的人工过程，成本很高。在美国信用卡公司内部流传着这样一个说法，一个信用卡用户可以给信用卡公司打电话，说他发现1年前的一笔花费，比如100美元左右，不是他花的，要求信用卡公司进行调查，信用卡公司会答应进行调查。一天之后，信用卡公司会对这个用户说事情已经查清了，这确实是一个错误，他们会返回给用户这笔钱。实际上，信用卡公司在这一天之内什么调查都不会做，因为从磁带上读取这个用户的交易记录成本要比这笔钱高很多，信用卡公司索性就不调查了，返回给用户这笔钱就对了。这样，存在磁带里的数据实际上成了死数据。

 

10前，建立在关系型数据库（RMDB如Oracle, DB2）上的数据仓库系统，成为大规模数据在线