关于大数据的八大热点问题

1.数据科学与大数据的学科边界

这一问题综合了两个问题，即大数据的基本内涵与数据的科学问题。前者关注的是大数据的基本定义和基本结构。迄今为止，什么是大数据，在产业界、学术界并没有形成一个公认的科学定义，大数据的内涵与外延也缺乏清晰的说明。大数据区别于其他数据的关键特性是什么？IBM提出了3V的说法，即volume（体量大）、variety（模式多）和velocity（速度快）。尔后又有人提出了另一个V，即value（价值），表示大数据虽然价值总量高但其价值密度低。另外，大数据是否就意味着全数据，还有待进一步讨论与澄清。最后，还需要为动态、高维、复杂的大数据建立形式化、结构化的描述方法，进而在此基础上发展大数据处理技术。后者关注的是数据界与物理界、人类社会之间的关联与差异，探讨是否存在独立于应用领域的数据科学。如果存在数据科学，其学科问题的分类体系又是什么？目前已有的共识是，大数据的复杂性主要来自数据之间的复杂联系。另外，新型学习理论和认知理论等应当是数据科学的重要组成部分。

2.数据计算的基本模式与范式

大数据的诸多突出特性使得传统的数据分析、数据挖掘、数据处理的方式方法都不再适用。因此，面对大数据，我们需要有数据密集型计算的基本模式和新型的计算范式，需要提出数据计算的效率评估方法以及研究数据计算复杂性等基本理论。由于数据体量太大，甚至有的数据本身就以分布式的形式存在，难以集中起来处理，因此对于大数据的计算需要从中心化的、自顶向下的模式转为去中心化的、自底向上、自组织的计算模式。另外，面对大数据将形成基于数据的智能，我们可能需要寻找类似“数据的体量+简单的逻辑”的方法去解决复杂问题。

3.大数据特性与数据态

这一问题综合了三个候选问题，即大数据的关系维复杂性、大数据的空间维复杂性和大数据的时间维复杂性问题。大数据往往由大量源头产生，而且常包含图像、视频、音频、数据流、文本、网页等等不同的数据格式，因此其模态是多种多样的。主要来源于多模态的大数据之间存在着错综复杂的关联关系，这种异质的关联关系有时还动态变化，互为因果，因此导致其关联模式也非常复杂。大数据的空间维问题主要关注人、机、物三元世界中大数据的产生、感知与采集，以及不同粒度下数据的传输、移动、存储与计算。另外，还需研究大数据在空间与密度的非均衡态对其分析与处理所带来的理论与技术挑战。而大数据的时间维问题意图在时间维度上研究大数据的生命周期、状态与特征，并探索大数据的流化分析、增量式的学习方法与在线推荐。最后，研究大数据的离线与在线处理对时效性要求。

4.大数据的数据变换与价值提炼

这一问题主要由“如何将大数据变小”与“如何进行大数据的价值提炼”两个问题组成，前者要在不改变数据基本属性的前提下对数据进行清洗，在尽量不损失价值的条件下减小数据规模。为此，需要研究大数据的抽样、去重、过滤、筛选、压缩、索引、提取元数据等数据变换方法，直接将大数据变小，这可以看作是大数据的“物理变化”。后者可看作是大数据的“化学反应”，对大数据的探索式考察与可视化将发挥作用，人机的交互分析可以将人的智慧融入这一过程，通过群体智慧、社会计算、认知计算对数据的价值进行发酵和提炼，实现从数据分析到数据价值判定和数据制造的价值飞跃。

5.大数据的安全和隐私问题

只要有数据，就必然存在安全与隐私的问题。随着数据的增多，大数据面临着重大的风险和威胁，需要遵守更多更合理的规定，传统的数据保护方法无法满足这一要求。因此，面对大数据的安全与隐私保护，有大量的挑战急需得到解决，具体包括：大数据计算伦理学、大数据密码学、分布式编程框架中的安全计算、远程数据计算的可信任度、数据存储和日志管理的安全性、基于隐私和商业利益保护的数据挖掘与分析、强制的访问控制和安全通信、多粒度访问控制以及数据来源和数据通道的可信等。

6.大数据对IT技术架构的挑战

这一问题是对热点问题“大数据对于系统的要求”的新解读。大数据对于系统，不管是存储系统、传输系统还是计算系统都提出了很多非常苛刻的要求，而现有的数据中心技术难以满足大数据的需求。譬如，存储能力的增长远远赶不上数据的增长，设计最合理的分层存储架构已成为信息系统的关键。分布式存储架构不仅需要scale-up式的可扩展性，也需要scale-out式的可扩展性。因此对整个IT架构进行革命性地重构势在必行。此外，大数据平台（包括计算平台、传输平台、存储平台等）是大数据技术链条中的瓶颈，特别是大数据的高速传输，需要革命性的新技术。

7.大数据的应用及产业链

大部分大数据专家委员会的委员都认为，大数据的研究与应用一定要与领域知识相结合，尤其在开展大数据研究的初期，计算机领域的科技工作者一定要虚心向各领域的科技人员请教，真正了解和熟悉各领域发生数据的特点。针对不同的领域环境和不同的应用需求，大数据的获取、分析、反馈的方式有所不同。为此，针对不同行业与领域业务需求，我们需要展开数据特征与业务特征的研究，进行大数据应用分类与技术需求分析，构建从需求分析与业务模型，到数据建模、数据采集和总结反馈，最后到数据分析的全生命周期应用模型。其实，不同的应用环境和应用目标代表了不同的价值导向，这对于大数据的价值密度有很大的影响。

8.大数据的生态环境问题

大数据作为21世纪的“新石油”，是一种宝贵的战略资源，因此对大数据的共享与管理无疑是其生态环境的一部分。对于大数据的共享与管理，其中所有权是基础，这既是技术问题，也是法理问题。对数据的权益需要进行具体认定并进行保护，进而在保护好多方利益的前提下解决数据共享问题。为此，可能会遇到不少的障碍，包括人们对法律或信誉的顾虑，保护竞争力的需要，以及数据存储的位置和方式不利于数据的访问和传输等。此外，生态环境问题还涉及与政治、经济、社会、法律、科学等等的交叉影响问题。因为大数据将对国家治理模式、企业的决策、组织和业务流程、个人生活方式都将产生巨大的影响，所以这种影响模式值得深入研究。

大数据无处不在，人们每天创造出越来越多的应用来收获其中的价值，无论是在我们的个人生活还是专业领域，从很多方面来说，大数据是数据产生速度的一种反映，实际上有分析家预计到2020年，数据产生的速度，将会是如今数据产生速度的50倍。

一方面，科学数据的增长等，加速了这种数据的猛增，举例来说：欧洲研究组织进行的核试验每秒钟能产生40TB的数据。

另一方面，一些非常积极的社会和经济变化，也加剧了数据的泛滥，想想这些例子，迅速普及的移动设备，有GPS功能和富媒体，还有社交网络让全世界数十亿人进行数码联系，它们一起让人们有了新的生活方式，各人间能够进行及时、瞬时，而且几乎不听的数据交换，这些和很多生活中即将出现的做事方式，如今产生的数据按从前定义就是大数据。

大数据——一个不算秘密的秘密，就是云计算的特点让它水涨船高，其实就是因为云计算的属性，比如经济规模，消费承受力，灵活性，延伸性等，这些都让我们能够创造大数据，并应对其挑战，反过来这些大数据也主宰并让未来的设计繁荣，并且加强扩展云计算，他们共同形成永不停歇的发展循环。简单来说，大数据挑战并且让所有人在暴露在信息基础设施的细节和极限之下，推动用户寻找思想领袖，并强迫他们实验，并寻求下一代突破，当这一切发生后，人们就能够解决之前解决不了的问题，他们能够应对之前无法应对的挑战。

我们可以提出这样的问题，比如：到底多大算大数据？这其实是个非常有趣的问题，大家的回答目前好像很不一致，不过这种模棱两可并名优阻挡数据的使用，一种比较普遍的误解就是大数据就是根据数据的大小来确定的，如果它是数据，而且还很大那它就一定是大数据，数据大小事判断的原则之一，大数据很多其它方面的属性跟数据的大小关系不大，例如：考虑数据产生的速度和同时在产生数据的数据源数量和种类。

们来看看，到底是通过什么来界定大数据的。我想我们都会同意，一个40MB的PPT演示文件、1TB的医疗图像和1PB的电影文件都很大，不过我们的问题是，它们是大数据吗？仅从它们的大小来说，我可以争辩说它们不是大数据，今天看来很大的文件明天也许就不算大了，不过我会说它们都是大数据，因为它们中的每一个都将应用它们的普遍技术推到了极限。40MB的PPT演示文件是大数据，因为没法跟同事和客户用电子邮件分享；1TB的医疗图像是大数据，因为无法轻易并充分地在远程显示器上实时显示，以供医生在为病人进行诊断使用；1PB的电影是大数据，因为无法在有效时间内对影片进行合理剪辑。

这是个好的开始，我们已经纠正了对于大数据的最大误解，那就是大数据就是看数据多大，我们能看到大数据有各种属性，大小只是其中之一，它们还能调整到系统的性能限制或是商业需求，但像数据产生速度这样的属性呢？或是产生数据的来源数量和种类呢？这些没法满足的定义，这就是为什么大数据能适用于从大小上来说根本不大的数据，有些能够成为大数据是因为它们的份数，因为它们由很多以某种关系联系起来的小数据碎片组成，这些数量众多的小数据组合在一起，就是大数据。比如说这些份数据，能在智能电表上看到，它们被用于世界范围的每个家庭，数据被传到电力公司，记录每家每20到30分钟产生和消耗的电力。

现在把这个数量乘以一个城市的家庭数量或是一个小镇的家庭数，大数据指的就是在一定时间之内或是在一定地理范围之内需要分析的数据份数，大份数数据还能在日志中找到，数据输入的次数非常之多，合在一起就形成大数据。在交易处理中也有大数据，很多交易合在一起，产生的数据库就有大数据。大数据的另一个又去的方面就是从结构来看，大数据并不都是一样的，有些大数据有固定的格式。比如：交易型数据库，每一条录入信息都能分成几种范畴，每一个都有明确定义的数据类型。有些大数据包含博客类录入信息，里面包含文本、图表、图像、声音和视频，这些数据都存在一起。

这就带来了大数据的最后一方面，生成的多样性以及相互的关联性。大数据的生成，从应用程序自动生成的信息，比如天气预报的图像到简单的录入信息；比如人们录下的日常生活片段；或者是键入的文字信息，大数据的更新速度也很惊人，而且具有互动性和增量性，产生的数据随时间不断变化，而且随着时间推移，数据会越来越准确，而且产生运算并推导出更多与数据相关的数据。

不管大小如何，数据的产生速度和来源如何，或是数据的哪一部分，大数据趋驱使我们去尽力理解这种混沌，大数据驱使我们在不断变化的数据里寻找它们的意义所在，并且寻找所产生数据之间的联系。对这种相互关系的理解，加上能收获藏在大数据里信息解开了大数据的价值，而这以能够处理我们大数据的挑战为前提。

收集、分析并且理解大数据，已经成为了我们如今各异的策略，不过这会成为我们明天的现实生活，进行合理的渐进性分析要看有没有足够数据，让你的结果有意义并且准确，这样才能带来更精准的行动，回报是给公司和客户带来更高利润并省下更多钱。所以说到大数据，问题其实不是为什么要关注大数据，而是该如何接近大数据，和如何能现在就从中获益。

在不久的将来，大数据也能被广泛的应用于建设行业。造价通也秉承着大数据时代技术创新，将云计算、云存储融合进大数据平台战略中，为整个建设行业创造更多创新的云服务。相信造价通这个大数据平台将来定会引领行业人士一起去解开大数据之中的宝贵价值。

2013年度大数据发展趋势

1.数据资源化

这一候选发展趋势得到了委员们最多的关注。数据的资源化是指大数据在企业、社会和国家层面成为重要的战略资源。2013年大数据将成为新的战略制高点，是大家抢夺的新焦点；大数据将不断成为机构的资产，成为提升机构和公司竞争力的有力武器。

2.大数据隐私问题

大数据对于隐私将是一个重大挑战，现有的隐私保护法规和技术手段难于适应大数据环境，个人隐私越来越难以保护，有可能会出现有偿隐私服务，数据“面罩”将会流行。而且预计2013年将会颁布关于大数据隐私的标准和条例。

3.大数据与云计算等深度融合

大数据处理离不开云计算技术，云计算为大数据提供弹性可扩展的基础设施支撑环境以及数据服务的高效模式，大数据则为云计算提供了新的商业价值，因此从2013年开始大数据技术与云计算技术必然进入更完美的结合期。总体而言，云计算、物联网、移动互联网等新兴计算形态，既是产生大数据的地方，也是需要大数据分析方法的领域。

4.基于海量数据（知识）的智能

2013年将会有更多基于海量数据（知识）的智能成果出现，甚至有可能产生人工大脑。至少类似于Chinese Room这样的问题将得到彻底解决。因为所有人们能想到的问题，在问之前就都已经被人回答过了，所以，即便在没有思考和逻辑的情况下，也可以利用前人的经验同样可以起到脑的功能，甚至也可能通过大数据直接进行推理。

5.大数据分析的革命性方法

在大数据分析上，2013年将出现革命性的新方法。就像计算机和互联网一样，大数据可能是新一波的技术革命。基于大数据的数据挖掘、机器学习和人工智能可能会改变小数据/小世界里的很多算法和基础理论，这方面很可能会产生理论级别的突破。

6.大数据安全

大数据的安全令人担忧，大数据的保护越来越重要——大数据的不断增加，对数据存储的物理安全性要求会越来越高，从而对数据的多副本与容灾机制提出更高的要求。进入2013年，网络和数字化生活使得犯罪分子更容易获得关于人的信息，也有了更多不易被追踪和防范的犯罪手段，可能会出现更高明的骗局，也就是说大数据已经把你出卖。

7.数据科学兴起

2013年数据科学作为一个与大数据相关的新兴学科出现，将有专门针对数据科学的专业形成，有博士、硕士甚至本科生出现。同时，有大量数据科学的专著出版。

8.数据共享联盟

数据共享联盟将在2013年逐渐壮大成为产业的核心一环。数据是基础，之前在科技部的支持下，已建立了多个领域的数据共享平台，包括气象、地震、林业、农业、海洋、人口与健康、地球系统科学数据共享平台等。之后，数据共享将扩展到企业层面。

9.大数据新职业

大数据将在2013年催生一批新的就业岗位，如数据分析师、数据科学家等。具有丰富经验的数据分析人才成为稀缺资源，数据驱动型工作机会将呈现出爆炸式的增长。大数据领域最优秀的科学家们纷纷转行股票、期货、甚至赌博（能比别人多看远一秒钟，就是效益）。

10.更大的数据

现在的大数据，将来都不够大。2013年，大数据将获得更多的关注、研究、开发和应用，所引起的结果是：体现大数据特征的体量大、速度快、模态多、价值密度低等几个V的特性将变得更加极致。尤其是大数据的价值密度会越来越低——数据不断地增长，如何去除大数据中的噪声等垃圾数据，进而从中挖掘和提取出有价值信息的难度也随之增大。

2012年Hadoop与大数据技术大会上发布的《大数据热点问题和2013年发展趋势分析》报告，今天读来仍有很多收获。以“应用驱动的架构与技术”为主题的第七届中国大数据技术大会（Big Data Technology Conference 2013，BDTC 2013）将于2013年12月5日-6日在北京世纪金源大酒店召开。会上我们还将继续发布2014年趋势分析，如果有好建议，欢迎参加！