Table of Contents
1. 大数据时代
大数据时代开启:2010年
大数据元年:2013年
1.1 大数据时代为什么会到来?
共有两个方面:大数据产生的技术支撑和数据产生方式的变革。
1.1.1 大数据产生的技术支撑(3个)
(1) 存储设备
成本越来越低,容量越来越大。人们不会再挑选哪些要存储,哪些不需要存储。
(2) CPU计算能力
按照摩尔定律(芯片上的晶体管数量每隔24个月将增加一倍),CPU处理能力大概每隔18-24个月会翻一番。
虽然单核CPU上的晶体管数量是有限的,因此采用不用的手段来提高计算能力。例如,将单核CPU扩展成多核CPU,也可以使用多台电脑一起计算,即采用分布式集群的方式进行并行计算。
(3) 网络带宽
由于要进行分布式计算,因此对网络的带宽也提出了要求。
1.1.2 数据产生方式的变革
共有3个阶段
2. 大数据概念
可以通过如下的4V特性说明大数据的概念。
2.1 大量化
美国IDC的一份报告指出:
大数据的摩尔定律:人类社会数据每年50%的速度,每两年就增长一倍。
2.2 多样化
数据类型多样化。
结构化数据:具有规范的行和列结构数据。(存储于关系型数据库中)
非结构化数据:不具有规范的行和列结构数据。(存储于非关系型数据库中)
大数据中仅有10%是结构化的数据,所以需要新型大数据算法处理多种类型的数据。
2.3 快速化
一秒定律:从数据生成到决策响应仅需1秒。
如果不能在1秒内进行响应,就会失去其商业价值。(通过收集鼠标点击数据流,进行实时推荐。)
2.4 价值密度低
例如视频金控摄像头数据。
单点价值高。
3. 大数据的影响
3.1 “计算”和“数据”的区别是什么?
“计算”是知道问题什么,通过计算来解释这一现象。例如,过去12个月中,某一款商品的销量在不断下滑。就需要通过计算机编程分析为什么在过去的12个月里,该商品销量下滑。即,问“为什么”。
“数据”是根本就不知道问题是什么,通过数据驱动的方式,从大量的数据中发现问题,并解决问题。
3.2大数据时代在思维层面有什么影响呢?(3方面影响)
(1)全样而非抽样
我们以前采用抽样的原