产品经理学大数据——什么是大数据？（1）

大数据是什么？

大数据不是一向单一的技术，而是一个概念，是一套技术，是一个生态圈。

对于大数据的概念，不同研究狗从不同角度有不同的定义。

• Gartner认为“大数据是需要新处理模式才能具有更强的决策力、洞察发现李和流程优化能力的海量、高增长率和多样化的信息资产”。
• 麦肯锡认为“大数据指的是大小超出常规的数据库工具获取、存储、管理和分析能力的数据集。但它同时强调，并不是说一定要超过特定TB值的数据集才能算是大数据”。
• 根据维基百科的定义，“大数据是指无法在可承受的时间范围内用常规软件工具进行捕捉、管理和处理的数据集合”。I
• DG认为：“大数据一般会涉及2中或2中以上数据形式，它要手机超过100TB的数据，并且是高速实时数据流；或者是从小数据开始，但数据每年会增长60%以上”

以色列已经把所有政府部门的视频整合到一个大数据管理平台上，并在这个平台上开发了一套智慧安防系统。在这个系统上，只要把某一个人的人脸或人的主要特征数据输入系统，就能从海量的监控记录中查处同那个人相关的视频片段，并自动变成一个有时间顺序的片子。

大数据的四大特征

大数据具有4V特征，即Volume（数据体量大）、Variety（数据类型繁多）、Velocity（数据产生的速度快）、Value（数据价值密度低）

大数据的商用化

• 最下面的这一层是大数据基本问题。解决这四个问题是大数据商用化基础，Hadoop技术很好地解决了这一层的问题。Hadoop也被认为是下一代IT架构的基础，将组成逐步替换以关系型数据库为基础的传统系统。
• 中间这一层是关于访问权限的问题。高但是现有的Hadoop技术还没有对数据的敏感性提供可行的解决方案。
• 最上面一层是有关大数据质量的管理。

从用户的角度，从大数据平台的功能性的角度来看，我们把大数据平台细分为三个平台：大数据云平台、大数据管理平台和大数据应用（分析）平台。大数据待机（也叫数据交换和共享）包含在大数据管理平台之中。

• 大数据云平台是集约化建设的IT基础设施层，为大数据处理和应用提供统一的基础支撑服务；
• 大数据管理平台是数据资源层，为大数据应用提供统一数据采集、分析和处理等支持服务；
• 大数据应用平台是业务应用层，为大数据在各领域的应用提供综合服务。

大数据分析

光有大数据还不够。在大数据平台上存储了足够多的数据后，我们该怎么将其加以利用呢？分析大数据，并将分析结果应用与决策中才是最重要的事情。

预测分析是大数据分析领域中的一个常用模式，它通过分析采集的数据来预测未来的行为或趋势。它根据事物的过去和现在估计未来，根据已知预测未知，从而减少对未来事物认识的不确定性，以用来指导我们的决策行动，减少决策的盲目性。在大数据分析领域，预测分析常常与预测模型、机器学习和数据挖掘有关。

处理预测分析，还有关联分析。关联分析的目的在于，找出数据之间内在的联系。比如，购物篮分析，即消费者常常会同时购买哪些产品，从而有助于商家的捆绑销售。

大数据与云计算的关系

大数据IT架构的基本特征，首先必须是可以扩展的，因为单点的技术无法承受大数据的要求。它的高可用性是通过软件设计和架构设计来实现的，而不是通过传统的高性能、高可用的高端设备来实现的。所以，从技术上看，大数据与云计算的关系就像一枚硬币的正反面一样密不可分。

大数据必然无法用单台的计算机进行处理，必须采用分布式架构。而云计算的分布式处理、云存储和虚拟化技术为大数据提供了IT基础，保证了大数据应用的高效运行。

大数据的国家战略

政府大数据价值：

• 数量上，表面上看，BAT拥有数以亿计的用户量，阿里巴巴的数据容量在100PB左右，而仅一个北京市政府就拥有几百个PB的数据容量。当前，中央和省级政务部门的电子政务覆盖率已经达到70%。粗略估算，全国政府大数据加起来至少该有数百甚至上千个阿里巴巴的体量。
• 质量上，百度拥有庞大的搜索记录，但这些数据较为单一，不进行关联引用毫无价值；腾讯拥有数亿的QQ和微信用户量以及更庞大的社交数据，但这些数据目前仅局限于营销应用；阿里的交易数据似乎价值更高，但也只是局限在电商领域以及外延应用。政府大数据不同，它涉及工商、水务、司法、交通、医疗、教育、通信、金融、地理、气象、房产、保险、农业、环境等领域，数据种类多，关联性强，统计规格较为统一，事关百姓生活的方方面面，数据利用价值也最高。

政府大数据的应用：

• 截止2016年初，中国的智慧城市试点已达193个，而公开宣布建设智慧城市超过400个，投资总规模高达5000亿元。智慧城市的概念包含了智慧政务、智慧能源、指挥交通、智慧医疗、智慧环保等都领域的应用，而这些都要依托于大数据，大数据产业是“智慧”的源泉，是智慧城市的推手。