大数据 VS算法

为什么说研究大数据要先从计算的角度来看？因为我们都清楚计算是计算机科学的本质。我们实际上做计算机的，就是一直在解一个公式G=F（X）。F就是算法或者软件程序，X就是输入和数据，G就是一个程序给定的输入，处理完以后相应的结果。在过去的五十年中是什么状况？一直是以算法为研究基础。七十年代单纯算法研究。到七十年代之后发现了多项时间算法，所以不是所有计算都能解决问题。到八十年代又发现了随机算法，因为能加速。到九十年代所谓的近似算法，因为找不到最优解。

过去有十多个人对这些内容的研究获得了图灵奖，但都是对算法的研究。过去是假设X不重要，主要研究F。现在X发生极具变化，是否会影响F和整个F（X），对软件和算法会不会有新的变化？过去研究的问题，计算机能处理的都是可判定问题，也是可判定当中的易解性问题。但是，现在的情况，大数据下，我举一个小的例子，读取硬盘世界上最快的线性扫描一个TB要1.9天，一个EB要5年多。从这里来看，百度一天处理的网页数据有10PB，就相当于要有小于3天的时间才能把它输入进来，都不用说后面的处理和应用。所以是不可能的。

在这里面就有一个基本问题，在过去能解的问题、易解的问题，在数据规模大的情况下是不可解的：

1. 这样一个新的问题出现了。过去五十年的复杂性理论会遇到新的挑战。第二个问题就是以前的算法不能再近似，原因就是研究F找到F’，X到新的X’又有新的问题出现，也同样出现了数据量、算法效率和结果的考虑。过去研究当中有一种新的情况是研究好算法。

这张图是12年前的，在小数据下算法好坏是有差别的。当数据量增加到1千倍的时候，算法的好坏差距发生了调转。所以简单有效和对问题有应用价值的算法变得更重要，也许我们有很多新的问题出现，因为时间的关系，我只就今天计算的科学问题跟各位交流。

2. 关于可表示的问题。如此多的数据，过去的方法也有很多新的困难出现。

3. 操作相关。过去计算模型应用比较多的是比兴处理的MapReduce，是静态、离线的全量批处理。以前是计算密集型，数据挖掘的处理是单一的。对于传统数据库一直受到关注，收益也很好，但现在用不上了，所以Hadoop开始成长。对于这样的问题，同样是G=F（X），现在的问题是全量数，到齐了先Map，再Reduce，在增量问题中它不是唯一的，也不是最好的。同样是3I的计算，可精确性、增量性和归纳性，仍然有很多问题。作为软件和系统也有很多问题。